Windows 部署ChatGLM3大语言模型

一、环境要求

硬件

内存:>= 16GB

显存: >= 13GB(4080 16GB)

硬盘:60G

软件

python 版本推荐3.10 - 3.11

transformers 库版本推荐为 4.36.2

torch 推荐使用 2.0 及以上的版本,以获得最佳的推理性能

二、部署步骤

1、新建python3.10虚拟环境

使用pycharm建虚拟环境

2、设置镜像源

bash 复制代码
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

3、升级pip

bash 复制代码
python -m pip install --upgrade pip

4、安装项目依赖

bash 复制代码
pip install -r requirements.txt

5、安装Demo依赖

bash 复制代码
pip install -r composite_demo/requirements.txt

6、下载模型

安装git-lfs

sudo apt-get install git-lfs

bash 复制代码
git clone https://huggingface.co/THUDM/chatglm3-6b

如果从 HuggingFace 下载比较慢,也可以从 ModelScope 中下载。

bash 复制代码
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

7、运行demo

bash 复制代码
streamlit run basic_demo/web_demo_streamlit.py

相关推荐
Tomorrow'sThinker31 分钟前
✍️ Python 批量设置 Word 文档多级字体样式(标题/正文/名称/小节)
python·自动化·word·excel
秋难降1 小时前
Python 知识点详解(三)
python·编程语言
chao_7892 小时前
二分查找篇——寻找旋转排序数组中的最小值【LeetCode】
python·线性代数·算法·leetcode·矩阵
金玉满堂@bj2 小时前
PyCharm 中 Python 解释器的添加选项及作用
ide·python·pycharm
程序员三藏2 小时前
如何使用Pytest进行测试?
自动化测试·软件测试·python·测试工具·职场和发展·测试用例·pytest
随心点儿3 小时前
使用python 将多个docx文件合并为一个word
开发语言·python·多个word合并为一个
不学无术の码农3 小时前
《Effective Python》第十三章 测试与调试——使用 Mock 测试具有复杂依赖的代码
开发语言·python
sleepybear11133 小时前
在Ubuntu上从零开始编译并运行Home Assistant源码并集成HACS与小米开源的Ha Xiaomi Home
python·智能家居·小米·home assistant·米家·ha xiaomi home
小阿鑫3 小时前
AI领域又新增协议: AG-UI
ai·agent·mcp·a2a·ag-ui