【LLMs】用LM Studio本地部署离线大语言模型

文章目录

  • 一、下载LM Studio
  • 二、下载大语言模型
      1. 查看模型介绍
      1. 点击模型文件进行下载
      • 2.1 完整下载
      • 2.2 部分下载
  • 三、加载模型
      1. 打开LM Studio图形化界面,点击**My Models**
      1. 然后,点击"...",选择"change",选择刚下载好的存储模型的models文件夹
      1. 选择要使用的模型
  • 四、开启学习之旅

有时候需要使用离线大语言模型,然后看到了一个非常好用的客户端LM Studio,所以来分享一下。它可以提供图形化界面来运行本地大语言模型,非常方便。接下来,我将分享如何通过LM Studio来快速搭建自己的离线大语言模型。


一、下载LM Studio

LM Studio下载:https://lmstudio.ai/?utm_source=ai-bot.cn

下载完后,直接安装即可。

安装完后,打开的界面:

二、下载大语言模型

虽然LM Studio里面可直接下载模型,但是在国内往往正常下载速度非常慢,所以,推荐去国内的魔搭社区下载模型。

魔搭社区官网:https://www.modelscope.cn/models

可以看到这里有非常多的LLMs(大语言模型),可以选择适合你的电脑配置的模型,下载下来。

我的电脑处理器为12th Gen Intel® Core™ i5-12500H 3.10 GHz,试了一下,7B(70亿参数)模型如果是5G多的模型文件,可以跑起来,速度还可以,再大点的就加载不起来,配置不够;然后下载了一个3B的模型,选择.gguf文件如果是2到3G的,输出非常快,选择5G以上的话,输出的时候,就可以明显感觉到慢了,不过还能接受。

拿这个3B的模型举例:

测试的7B的模型:

1. 查看模型介绍

有的模型会在模型介绍中,详细写明适合的配置以及如何安装的多种方法和注意事项,所以先查看模型介绍。

2. 点击模型文件进行下载

大多数模型提供了多个不同大小的模型存储文件(比如GGUF文件),可以选择性的下载模型存储文件。也可以全部下载。下载后,在自定义位置新建一个名为models的文件夹,然后把下载的放在models文件夹下(也可以在models文件夹下新建文件夹,然后存放下载的模型文件)。

2.1 完整下载

想全部下载的话,可以点击最右边的下载模型按钮,打开后会有多种下载方式,选择一种下载方式即可。

2.2 部分下载

部分下载可以点击每个文件最右边的下载按钮,下载想要的大语言模型文件,放到自定义位置新建一个名为models的文件夹下。

三、加载模型

1. 打开LM Studio图形化界面,点击My Models

2. 然后,点击"...",选择"change",选择刚下载好的存储模型的models文件夹


选择之后,顺利的话,会自动识别出语言模型,显示在下面。

3. 选择要使用的模型

点击"chat",然后在上面选择一个你想使用的模型。

然后回出现一些自定义参数配置,通常默认即可,你也可以自己调参数。然后点击右下角的"Load Model"。

四、开启学习之旅

现在,离线的语言模型就部署好啦,可以开启学习之旅啦。

如果本文对你有一点点帮助,可以为我点个免费的赞,支持一下嘛,也期待你的评论和关注哦。^_^

相关推荐
DisonTangor33 分钟前
【小红书拥抱开源】小红书开源大规模混合专家模型——dots.llm1
人工智能·计算机视觉·开源·aigc
码界奇点2 小时前
Python Flask文件处理与异常处理实战指南
开发语言·python·自然语言处理·flask·python3.11
浠寒AI2 小时前
智能体模式篇(上)- 深入 ReAct:LangGraph构建能自主思考与行动的 AI
人工智能·python
weixin_505154463 小时前
数字孪生在建设智慧城市中可以起到哪些作用或帮助?
大数据·人工智能·智慧城市·数字孪生·数据可视化
Best_Me073 小时前
深度学习模块缝合
人工智能·深度学习
YuTaoShao3 小时前
【论文阅读】YOLOv8在单目下视多车目标检测中的应用
人工智能·yolo·目标检测
算家计算3 小时前
字节开源代码模型——Seed-Coder 本地部署教程,模型自驱动数据筛选,让每行代码都精准落位!
人工智能·开源
伪_装3 小时前
大语言模型(LLM)面试问题集
人工智能·语言模型·自然语言处理
gs801404 小时前
Tavily 技术详解:为大模型提供实时搜索增强的利器
人工智能·rag
music&movie4 小时前
算法工程师认知水平要求总结
人工智能·算法