用LM Studio:2分钟在本地免费部署大语言模型,替代ChatGPT

你想在本地使用类似ChatGPT 的大语言模型么?LM Studio 可以帮你2分钟实现ChatGPT的功能,而且可以切换很多不同类型的大语言模型,同时支持在Windows和MAC上的PC端部署。

LM Studio是一款面向开发者的友好工具,特别适合那些想要探索和使用大型语言模型的人。无论是出于专业开发的需要,还是仅仅为了体验和玩转各种API,LM Studio都提供了一个简便、高效的解决方案。

使用LM Studio不需要深厚的技术背景或复杂的安装过程。传统上,本地部署大型语言模型如Lama CPP或GPT-4ALL往往伴随着繁琐的安装步骤和环境配置,这对技术要求极高。然而,LM Studio的出现彻底改变了这一局面。它提供了一个简单的安装程序,用户只需几个简单的步骤就可以轻松安装和运行。

LM Studio的一个重要特点是它对各种模型的广泛支持。它不仅支持所有公开发布的大型语言模型,而且不需要用户进行额外的编译或微调。这意味着,无论用户的需求如何,LM Studio都能提供所需的模型支持。

LM Studio对GPU和Core ML的兼容性也非常出色,这使得它能够在多种平台上高效运行,包括Mac和Windows。用户只需将应用程序拖到自己的应用文件夹中,即可完成安装,操作简便。

LM Studio的界面设计直观易用。用户只需打开应用,就可以直接开始使用,无需复杂的设置。这对于那些希望节省时间,快速投入大型语言模型开发和探索的用户来说,是一个巨大的优势。

下面是安装和使用LM Studio的介绍:

一、下载LM Studio 应用

1、Windows 版本

【免费】LMStudiowindows版本安装资源-CSDN文库

2、MAC版本

【免费】LM+StudioMACOS版本安装资源-CSDN文库

二、LM Studio 应用的模型下载

1、在主页中浏览,直接下载模型

如下图:在主界面中直接下拉,可浏览各种大语言模型,选择download 按钮可直接下载,部分模型可能需要VPN到外网才能下载。

我给大家提供了我自己的下载的模型的网盘下载链接:

链接:https://pan.quark.cn/s/c74d915d3fa2

提取码:TrAa

模型下载好之后,将目录一起复制到你的LM Studio所在的模型目录,如下图:

2、搜索模型

点击放大镜图标,可输入你想要的模型,进行搜索,如下图,我这里搜索GPT4ALL:

三、模型对话,类似ChatGPT

1、选择模型

在左边菜单栏选择chat图标,然后选择模型(下载之后的模型会在下拉列表中),如下图:

2、和模型进行问答对话

直接输入你想要提问的问题,和模型进行对话

四、启用LocalServer模式

LM Studio 还支持在本地以Server的形式提供和OpenAI 一样的API接口服务,这意味着大家可以把大预言模型做为一个后端服务来进行调用,前端可以包装任意面向业务的功能。

大家可以copy code 来测试一下访问local server的端口,用curl或python code 都可以。

总的来说,LM Studio是一个强大而用户友好的工具,它简化了大型语言模型的部署和使用过程。无论是专业开发者还是技术爱好者,都可以从这个工具中受益,更高效地探索和利用大型语言模型的强大功能。

相关推荐
前端摸鱼匠4 分钟前
YOLOv8 环境配置全攻略:Python、PyTorch 与 CUDA 的和谐共生
人工智能·pytorch·python·yolo·目标检测
结局无敌9 分钟前
构建百年工程:cann/ops-nn 的可持续演进之道
人工智能·cann
MSTcheng.9 分钟前
CANN算子开发新范式:基于ops-nn探索aclnn两阶段调用架构
人工智能·cann
renhongxia110 分钟前
如何基于知识图谱进行故障原因、事故原因推理,需要用到哪些算法
人工智能·深度学习·算法·机器学习·自然语言处理·transformer·知识图谱
做人不要太理性11 分钟前
CANN Runtime 运行时与维测组件:异构任务调度、显存池管理与全链路异常诊断机制解析
人工智能·自动化
算法备案代理13 分钟前
大模型备案与算法备案,企业该如何选择?
人工智能·算法·大模型·算法备案
酷酷的崽79813 分钟前
CANN 生态可维护性与可观测性:构建生产级边缘 AI 系统的运维体系
运维·人工智能
哈__14 分钟前
CANN加速Inpainting图像修复:掩码处理与边缘融合优化
人工智能
深鱼~16 分钟前
ops-transformer算子库:解锁昇腾大模型加速的关键
人工智能·深度学习·transformer·cann
笔画人生21 分钟前
进阶解读:`ops-transformer` 内部实现与性能调优实战
人工智能·深度学习·transformer