用 LM Studio 1 分钟搭建可在本地运行大型语言模型平台替代 ChatGPT

📌 简介

LM Studio是一个允许用户在本地离线运行大型语言模型(LLMs)的平台 ,它提供了一种便捷的方式来使用和测试这些先进的机器学习模型,而无需依赖于互联网连接。以下是LM Studio的一些关键特性:

  1. 脱机:用户可以在自己的笔记本电脑上运行LLMs,完全不需要在线连接。

  2. 用户界面:LM Studio提供了一个应用内聊天界面,用户可以通过这个界面与模型交互,或者使用一个与OpenAI兼容的本地服务器。

  3. 模型下载:用户可以从Hugging Face的🤗(即Hugging Face公司)仓库下载任何兼容的模型文件。

  4. 模型支持:LM Studio支持多种ggml Llama、MPT和StarCoder模型,这些模型都可以在Hugging Face上找到。

  5. 系统要求:为了运行LM Studio,用户需要M1/M2/M3 Mac,或者支持AVX2指令集的Windows PC。同时,它还提供了Linux系统的beta版本。

  6. 技术文档:LM Studio 提供了技术文档,以帮助用户更好地理解和使用这个平台。

  7. 项目支持:LM Studio的实现得益于llama.cpp项目。

  8. **隐私:**当在本地运行模型时,没有信息被传输到云。尽管在使用GPT-4、Bard和claude 2等基于云的模型时,隐私问题可能被夸大了,但在本地运行模型可以避免任何问题。

  9. **实验:**如果你看到了生成人工智能的价值,可以通过测试了解模型的细节并知道还有什么可用。

  10. **成本:**开源模型是免费的,其中一些可以不受限制地用于商业。

LM Studio的目标是让大型语言模型更加易于访问和使用,同时减少对云服务的依赖,这对于希望在本地环境中进行模型训练和测试的研究人员和开发者来说非常有用。通过LM Studio,用户可以在自己的设备上探索和运行最新的语言模型,从而更好地控制数据隐私和安全性。

📌 使用说明

📍 下载安装

  • 官网下载地址:https://lmstudio.ai/

  • 按需选择要下载的版本【mac、windos、linux】

安装成功页面

📍 调整模型存储路径

  • 调整存储目录,方便管理,特别是 windos ,不要放默认的 C 盘

  • 注意存放模型的目录结构:/models/Publisher/Repository/

  • 自定义路径选择到 /models 层即可【我当时这里折腾了好久才加载出来模型】

注意存放模型的目录结构

📍 模型下载

安装之后打开, 搜索对应大模型, 下载, 举例: baichuan

点击左侧菜单栏文件夹图标进行管理

下载模型失败问题

如果出现下载模型失败问题 ,可以复制模型地址,然后用浏览器打开下载。关于网络问题:https://user.by.ltd/aff.php?aff=23165​​

📍 聊天

点击左侧菜单栏聊天图标, 新建聊天, 输入框输入内容

可能对回答的结果并不满意, 我们可以点击结果后面的编辑, 更正结果, 多次训练后, ai就回回复我们想要的答案

📍 API接口

点击菜单栏倒数第二个图标, 进入api页面; 随意设置一个端口号, 启动服务

打开浏览器查看服务是否启动

AI 大模型全栈知识库👇

https://www.yuque.com/lhyyh/ai

我是一名资深 AI 全栈工程师,持续分享 AI 相关知识,感兴趣的小伙伴欢迎关注并一起学习、交流💪

相关推荐
qq_2837200544 分钟前
Python+LangChain 入门到实战全教程+ 企业级案例
人工智能·langchain·#大模型·#llm·#rag·#ai 应用开发·#智能体
码点滴1 小时前
DeepSeek-V4 全景地图:两款模型、三种模式,你该怎么选?
人工智能·架构·大模型·deepseek-v4
Vane11 小时前
前端引擎开发记录
人工智能
沪漂阿龙在努力1 小时前
一文讲透大模型项目的配置管理:从YAML到可运行代码的实战指南
人工智能
GISer_Jing1 小时前
AI全栈工程师知识体系全景:从前后端核心架构到落地项目全拆解
前端·人工智能·后端·ai编程
翔云1234561 小时前
vLLM 全部8种部署方式(按从简单到企业级排序,附适用场景+最简命令)
人工智能·ai·大模型
ShareCreators1 小时前
AI悖论——热情高涨,价值难彰
人工智能·汽车·blueberry
AI医影跨模态组学1 小时前
如何将多模态MRI影像特征与脑膜瘤细胞增殖标志物Ki-67建立关联,并进一步解释其与肿瘤生长速率、无进展生存期的机制联系
人工智能·论文·医学·医学影像·影像组学
tiger从容淡定是人生1 小时前
AI替代软件战略(一):从 CCleaner 到 MCP 架构重构 —— TigerCleaner 的工程实践
人工智能·重构·架构·c#·mcp
做cv的小昊1 小时前
【TJU】研究生应用统计学课程笔记(6)——第二章 参数估计(2.4 区间估计)
人工智能·笔记·线性代数·算法·机器学习·数学建模·概率论