Windows 部署ChatGLM3大语言模型

程序猿老罗2024-04-18 19:51

硬件

内存：>= 16GB

显存: >= 13GB（4080 16GB）

硬盘：60G

软件

python 版本推荐3.10 - 3.11

transformers 库版本推荐为 4.36.2

torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能

使用pycharm建虚拟环境

bash 复制代码

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

bash 复制代码

python -m pip install --upgrade pip

bash 复制代码

pip install -r requirements.txt

bash 复制代码

pip install -r composite_demo/requirements.txt

安装git-lfs

sudo apt-get install git-lfs

bash 复制代码

git clone https://huggingface.co/THUDM/chatglm3-6b

如果从 HuggingFace 下载比较慢，也可以从 ModelScope 中下载。

bash 复制代码

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

bash 复制代码

streamlit run basic_demo/web_demo_streamlit.py