在 MacOS 上为 LM Studio 更换镜像源

在 MacOS 之中使用 LM Studio 部署本地 LLM时,用户可能会遇到无法下载模型的问题。

一般的解决方法是在 huggingface.co 或者国内的镜像站 hf-mirror.com 的项目介绍卡页面下载模型后拖入 LM Studio 的模型文件夹。这样无法利用 LM Studio 本身的搜索功能。

本文将详细介绍如何在 MacOS 系统中为 LM Studio 更换镜像源。

此方法受到了以下内容的启发:

国内如何使用LM-Studio替换huggingface为镜像网址_哔哩哔哩_bilibiliLM-Studiohttps://lmstudio.aiLM-Studio 安装目录C:\Users\jiang\AppData\Local\LM-Studio修改huggingface.cofindstr /s /i /m /c:"huggingface.co" *.*查找结果resources\app\.webpack\main\index.jsresources\app\, 视频播放量 6892、弹幕量 1、点赞数 150、投硬币枚数 100、收藏人数 315、转发人数 40, 视频作者 nichengshiyong, 作者简介 ,相关视频:电脑本地部署Llama3中文版 - LM studio,LM Studio更新后如何在国内正常使用+数学逻辑及代码强LLM:Yi 9B本地安装,LM Studio - 一键搞定本地下载运行LLM,并兼容OpenAI API,终于找到了!这绝对是全B站最详细(没有之一)Huggingface,机器学习界的GitHub!3小时带你核心模块解读+预训练模型!学不会来找我!-NLP、hug,AIGC交互完全体 - 本地电脑GPT,如何使用LM Studio一键快速高效的运行本地大语言模型,支持多种语言模型,省去手动部署的麻烦,本地运行通义千问72B!兼容AMD显卡或纯CPU【LM Studio】,LM Studio:全网最简单LLM模型免费本地使用教程,HuggingFace快速下载模型,如何打开AI的精彩世界:国内使用HuggingFace最简单实操https://www.bilibili.com/video/BV1dw4m1f7zQ/

LM Studio

LM Studio 是一款桌面应用程序,旨在让用户在本地计算机上开发和试验大型语言模型(LLM)。LM Studio 为用户提供了一个熟悉的聊天界面,以及管理本地模型和配置的系统。

其主要功能包括:

• 🤖 在本地离线运行 LLMs

• 📚 与本地文档进行对话(0.3 版本新功能)

• 👾 通过应用内的聊天界面或兼容 OpenAI 的本地服务器使用模型

• 📂 从 Hugging Face 🤗 仓库下载任何兼容的模型文件

• 🔭 在应用内的"发现"页面中探索新的 LLMs

问题描述

在 MacOS 上,直接下载并打开 LM Studio 后,尝试下载模型时会发现无法正常进行。这主要是因为应用程序默认从 huggingface.co 获取模型,而在某些网络环境下,访问该域名可能受到限制。
LM Studio 提示无法找到模型: Model details error: fetch failed

解决方案:更换镜像源

为了解决这个问题,我们可以将 LM Studio 中的所有 huggingface.co 域名替换为国内的镜像站 hf-mirror.com

具体步骤如下:

(1)定位 LM Studio 应用目录

打开终端(默认使用 zsh),输入以下命令进入 LM Studio 的内容目录:

bash 复制代码
cd /Applications/LM\ Studio.app/Contents/

(2) 搜索需要替换的域名

使用 grep 命令在当前目录下搜索包含 huggingface.co 的文件:

bash 复制代码
grep -r "huggingface.co" .

这将输出大量包含目标字符串的文件列表,如下图所示。

与 Windows 系统中类似,需要关注的四个.js文件位于:

bash 复制代码
./Resources/app/.webpack/main/index.js

./Resources/app/.webpack/main/llmworker.js 

./Resources/app/.webpack/main/worker.js

./Resources/app/.webpack/renderer/main_window/index.js

(3) 访问并编辑目标文件

由于 .webpack 目录 在 MacOS 中默认被隐藏,可以先通过以下命令进入该目录:

bash 复制代码
cd /Applications/LM\ Studio.app/Contents/Resources/app/.webpack

再使用open 命令在访达 Finder 中打开当前目录,以方便地查看和编辑文件。

bash 复制代码
open .

如下图所示:

或者,直接使用 Visual Studio Code 等代码编辑器打开该目录。

(4) 域名替换

打开上述列出的四个 .js 文件 ,使用文本编辑器查找 huggingface.co ,并将其全部替换为 hf-mirror.com

(5) 保存修改并重启 LM Studio

保存所有修改后的文件,重新启动 LM Studio。此时,在搜索页面应该可以正常检索并下载模型了。下一节将进行演示。

值得注意的是 ,即使在修改后,如果再次执行 grep -r "huggingface.co" .,仍然会有大量输出结果。这些文件无法直接修改,但不影响模型的检索和 LM Studio 的正常使用。

验证:下载并使用支持视觉输入的模型

为了验证上述方法的有效性,我们以下载和部署 llava-phi-3-mini-gguf 模型为例。该模型支持视觉输入。xtuner / llava-phi-3-mini-ggufhttps://hf-mirror.com/xtuner/llava-phi-3-mini-gguf在 LM Studio 的搜索框中输入llava-phi-3-mini-gguf,可以看到模型显示为 Vision Enabled。

点击下载后,模型即可在 MacBook 上正常使用。

尝试输入一张实拍照片以及一段 Prompt,其响应速度与回答准确性都非常好。

通过以上步骤,我们在 MacOS 上成功地为 LM Studio 更换了镜像源。

参考链接

• LM Studio 官方网站:https://lmstudio.ai

• 原始解决方案视频(Windows 平台):https://www.bilibili.com/video/BV1dw4m1f7zQ

相关推荐
Blossom.1181 天前
把AI“撒”进农田:基于极值量化与状态机的1KB边缘灌溉决策树
人工智能·python·深度学习·算法·目标检测·决策树·机器学习
救救孩子把1 天前
18-机器学习与大模型开发数学教程-第1章 1-10 本章总结与习题
人工智能·数学·机器学习
救救孩子把1 天前
17-机器学习与大模型开发数学教程-第1章 1-9 凸函数与凸优化基础
人工智能·数学·机器学习
明月照山海-1 天前
机器学习周报十八
人工智能·机器学习
敢敢のwings1 天前
VLA: 从具身智能到自动驾驶的关键桥梁
人工智能·机器学习·自动驾驶
智泊AI1 天前
一文讲清:AI大模型的工作原理,它是怎么做到这么聪明的?
llm
zenRRan1 天前
用中等难度prompt做高效post training
人工智能·深度学习·机器学习·计算机视觉·prompt
Mr.看海1 天前
机器学习鼻祖级算法——使用SVM实现多分类及Python实现
算法·机器学习·支持向量机
大模型教程1 天前
告别数据隐私焦虑!用FastGPT免费私有化部署AI个人知识管理系统!
程序员·llm·agent
大模型教程1 天前
非常适合初学者的大模型应用开发教程,快速掌握 LLM 开发技能
程序员·llm·agent