ChatGLM2-6B 大语言模型本地搭建

雪峰空间2024-01-16 1:31

ChatGLM模型介绍：

ChatGLM2-6B 是清华 NLP 团队于不久前发布的中英双语对话模型，它具备了强大的问答和对话功能。拥有最大32K上下文，并且在授权后可免费商用！

ChatGLM2-6B的6B代表了训练参数量为60亿，同时运用了模型量化技术，意味着用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）

详细介绍（官方git：https://github.com/thudm/chatglm2-6b ）：

环境安装

虚拟环境创建：

查看地虚拟环境

conda env list

创建虚拟环境

conda create -n ChatGLM2-6B

激活虚拟环境

conda activate ChatGLM2-6B

下载本仓库：

git clone https://github.com/THUDM/ChatGLM2-6B

# 进入目录
cd ChatGLM2-6B

安装依赖

pip install -r requirements.txt

下载模型

从 Hugging Face Hub 下载模型需要先安装Git LF

安装Git LF

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
# 验证安装成功
git lfs install

# 如果出现： Git LFS initialized.  则说明成功

git clone https://huggingface.co/THUDM/chatglm2-6b

模型下载失败

### 国内镜像地址

git clone https://hf-mirror.com/THUDM/chatglm2-6b

下载模型时间较长，如下载失败可尝试手动下载模型
### 手动下载模型
AI快站
https://aifasthub.com/models/THUDM

手动下载以下模模文件

wgethttps://aifasthub.com/models/THUDM/chatglm2-6b/pytorch_model-00001-of-00007.bin

启动模型

网页版 Demo

python web_demo.py