Win10本地部署大语言模型ChatGLM2-6B

鸣谢《ChatGLM2-6B|开源本地化语言模型》作者PhiltreX

作者显卡为英伟达4060

安装程序

打开CMD命令行,在D盘新建目录openai.wiki

复制代码
if not exist D:\openai.wiki mkdir D:\openai.wiki

强制切换工作路径为D盘的openai.wiki文件夹。

复制代码
cd /d D:\openai.wiki

拉取该项目的Github仓库文件,将其下载至openai.wiki文件夹内。

复制代码
git clone https://github.com/THUDM/ChatGLM2-6B.git

在CMD中执行如下命令,强制切换至ChatGLM2-6B的项目目录。

复制代码
cd /d D:\openai.wiki\ChatGLM2-6B

在CMD中执行下面的命令行,创建Conda虚拟环境至该项目的目录中,方便日后重装系统也能够正常使用,无需重新部署环境。

复制代码
conda create -y -p D:\openai.wiki\ChatGLM2-6B\ENV python=3.8

初始化Conda环境,防止后续操作可能存在报错等问题。

复制代码
conda init cmd.exe

激活已创建的Conda环境,这样我们可以将我们后续所需要的所有环境依赖都安装至此环境下。

复制代码
conda activate D:\openai.wiki\ChatGLM2-6B\ENV

执行如下命令,安装该项目的相关依赖库。

复制代码
pip install -r requirements.txt

这一步时间安装时间长,并且容易失败。安装gpu版的pytorch ,需要先安装cuda,参考《Win10上使用Darknet框架训练YOLOv4自定义数据集》,对于下载慢的问题可以参考《AnaConda下载PyTorch慢的解决办法

我的电脑的 CUDA Version: 12.3,列表中可以选择CUDA12.1

模型下载

下载链接一:123网盘

下载链接二:Hugging Face

下载模型时,请注意模型的目录结构,以及文件夹层级关系。

ChatGLM2-6BTHUDMchatglm2-6b模型相关文件

源码修改

我们几乎已经完成了所有需要的前置条件,但因为源码中模型的加载路径遵从了Liunx的方式,而我们使用了Windows系统来搭建,这与Liunx的路径转义有区别。

警告:所以如果你是Windows系统,需要根据以下步骤修改源码,如果你是Linux请路过该部分,不要进行操作。

此时我们需要做一件事,那就是分别修改cli_demo.pyweb_demo.pyweb_demo2.py三个文件内的模型路径,将THUDM/chatglm2-6b修改为THUDM\chatglm2-6b即可(只改斜杠)。

运行程序

在以后每次运行该项目时,只需要先激活我们刚刚所创建的Conda虚拟Python环境,然后运行启动文件即可。

在CMD中执行如下命令,强制切换至项目目录文件夹。

复制代码
cd /d D:\openai.wiki\ChatGLM2-6B

激活已创建的Conda环境,这样才可以正常使用该项目,否则将会自动调用系统中的默认Python。

复制代码
conda activate D:\openai.wiki\ChatGLM2-6B\ENV

执行如下代码,运行程序的GUI界面。

cli_demo.py|web_demo.py|web_demo2.py三种方式任选其一

运行cli_demo.py

复制代码
python cli_demo.py

运行web_demo.py

复制代码
python web_demo.py

提示:Textbox 对象没有 style 属性,或者对话框无法正常显文字

复制代码
pip uninstall gradio
pip install gradio=3.39.0

再次运行web_demo.py,在网页中即可开始对话

运行web_demo2.py

注意这里命令有变,不是python web_demo2.py,而是下面的命令

复制代码
streamlit run web_demo2.py

要求输入Email进接回车就行

在网页中即可开始对话

相关推荐
组合缺一几秒前
搭建基于 Solon AI 的 Streamable MCP 服务并部署至阿里云百炼
java·人工智能·solon·mcp
qinyia2 分钟前
Wisdom SSH 是一款集成了强大 AI 助手功能的 SSH 工具,助你高效管理服务器。
服务器·人工智能·ssh
IT_陈寒6 分钟前
SpringBoot 3.x实战:5种高并发场景下的性能优化秘籍,让你的应用快如闪电!
前端·人工智能·后端
Clownseven10 分钟前
云市场周报 (2025.09.05):解读腾讯云AI安全、阿里数据湖与KubeVela
人工智能·安全·腾讯云
野豹商业评论13 分钟前
AI 浪潮下阿里云“高光”乍现,但离终局胜利尚远
人工智能·阿里云·云计算
z千鑫14 分钟前
【模型比对】Gemini 2.5 Pro 与 Claude Sonnet 4 结构化数据对比报告 + API KEY的使用教程
人工智能·gpt·ai·语言模型·aigc
HappyAcmen17 分钟前
【自动化实战】Python操作Excel/WORD/PDF:openpyxl与docx库详解
python·自动化·excel
q5673152317 分钟前
无需Python:Shell脚本如何成为你的自动化爬虫引擎?
开发语言·爬虫·python·自动化·scala
gptplusplus18 分钟前
超越自动化:为什么说供应链的终局是“AI + 人类专家”的混合智能?
大数据·人工智能
aiden:)19 分钟前
App UI 自动化环境搭建指南
运维·python·ui·appium·自动化