ChatGLM3-6B-32K 在linux(Ubuntu) GPU P100(16G)复现记录

beneficial2024-06-17 0:35

时间：2024年6月12日

bash 复制代码

conda create --name chatglm3 python=3.10
conda activate chatglm3

如果没有安装git命令，先安装git命令

bash 复制代码

sudo apt-get update
sudo apt-get install git

下载chatglm源代码库

bash 复制代码

git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3

安装依赖

bash 复制代码

pip install -r requirements.txt

如果没有安装lfs，先安装lfs

bash 复制代码

sudo apt update
sudo apt install git-lfs
git lfs install

注意这里下载的是6b-32k

bash 复制代码

# 注意这里下载的是6b-32k
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b-32k.git

修改cli_demo.py中路径

bash 复制代码

MODEL_PATH = os.environ.get('MODEL_PATH', 'THUDM/chatglm3-6b')

改为

bash 复制代码

MODEL_PATH = os.environ.get('MODEL_PATH', '../chatglm3-6b-32k/')

运行cli_demo.py

bash 复制代码

python cli_demo.py

程序会在命令行中进行交互式的对话，在命令行中通过用户：进行输入指示，直接输入问题回车即可生成回复，输入 clear 可以清空对话历史，输入 stop 终止程序。

显存占用情况：

bash 复制代码

cd composite_demo
pip install -r requirements.txt
ipython kernel install --name chatglm3-demo --user

修改client.py里面的路径信息

bash 复制代码

MODEL_PATH = os.environ.get('MODEL_PATH', 'THUDM/chatglm3-6b')

改为

bash 复制代码

MODEL_PATH = os.environ.get('MODEL_PATH', '../chatglm3-6b-32k/')

运行以下命令在本地加载模型并启动 demo

bash 复制代码

streamlit run main.py