Windows 部署ChatGLM3大语言模型

一、环境要求

硬件

内存:>= 16GB

显存: >= 13GB(4080 16GB)

硬盘:60G

软件

python 版本推荐3.10 - 3.11

transformers 库版本推荐为 4.36.2

torch 推荐使用 2.0 及以上的版本,以获得最佳的推理性能

二、部署步骤

1、新建python3.10虚拟环境

使用pycharm建虚拟环境

2、设置镜像源

bash 复制代码
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

3、升级pip

bash 复制代码
python -m pip install --upgrade pip

4、安装项目依赖

bash 复制代码
pip install -r requirements.txt

5、安装Demo依赖

bash 复制代码
pip install -r composite_demo/requirements.txt

6、下载模型

安装git-lfs

sudo apt-get install git-lfs

bash 复制代码
git clone https://huggingface.co/THUDM/chatglm3-6b

如果从 HuggingFace 下载比较慢,也可以从 ModelScope 中下载。

bash 复制代码
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

7、运行demo

bash 复制代码
streamlit run basic_demo/web_demo_streamlit.py

相关推荐
金玉满堂@bj11 分钟前
PyCharm 中 Python 解释器的添加选项及作用
ide·python·pycharm
程序员三藏15 分钟前
如何使用Pytest进行测试?
自动化测试·软件测试·python·测试工具·职场和发展·测试用例·pytest
随心点儿1 小时前
使用python 将多个docx文件合并为一个word
开发语言·python·多个word合并为一个
不学无术の码农1 小时前
《Effective Python》第十三章 测试与调试——使用 Mock 测试具有复杂依赖的代码
开发语言·python
sleepybear11131 小时前
在Ubuntu上从零开始编译并运行Home Assistant源码并集成HACS与小米开源的Ha Xiaomi Home
python·智能家居·小米·home assistant·米家·ha xiaomi home
小阿鑫1 小时前
AI领域又新增协议: AG-UI
ai·agent·mcp·a2a·ag-ui
纪伊路上盛名在1 小时前
(鱼书)深度学习入门1:python入门
人工智能·python·深度学习
夏末蝉未鸣011 小时前
python transformers笔记(TrainingArguments类)
python·自然语言处理·transformer
德育处主任Pro1 小时前
「py数据分析」04如何将 Python 爬取的数据保存为 CSV 文件
数据库·python·数据分析
咸鱼鲸2 小时前
【PyTorch】PyTorch中数据准备工作(AI生成)
人工智能·pytorch·python