ChatGLM2-6B 大语言模型本地搭建

ChatGLM模型介绍:

ChatGLM2-6B 是清华 NLP 团队于不久前发布的中英双语对话模型,它具备了强大的问答和对话功能。拥有最大32K上下文,并且在授权后可免费商用!

ChatGLM2-6B的6B代表了训练参数量为60亿,同时运用了模型量化技术,意味着用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)

详细介绍(官方git:https://github.com/thudm/chatglm2-6b ):

环境安装

虚拟环境创建:

查看地虚拟环境

复制代码
conda env list

创建虚拟环境

复制代码
conda create -n ChatGLM2-6B

激活虚拟环境

复制代码
conda activate ChatGLM2-6B

下载本仓库:

复制代码
git clone https://github.com/THUDM/ChatGLM2-6B

# 进入目录
cd ChatGLM2-6B

安装依赖

复制代码
pip install -r requirements.txt

下载模型

从 Hugging Face Hub 下载模型需要先安装Git LF

安装Git LF

复制代码
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
# 验证安装成功
git lfs install

# 如果出现: Git LFS initialized.  则说明成功

git clone https://huggingface.co/THUDM/chatglm2-6b

复制代码
模型下载失败

### 国内镜像地址

git clone https://hf-mirror.com/THUDM/chatglm2-6b
复制代码
下载模型时间较长,如下载失败可尝试手动下载模型
### 手动下载模型
AI快站
https://aifasthub.com/models/THUDM

手动下载以下模模文件

复制代码
wgethttps://aifasthub.com/models/THUDM/chatglm2-6b/pytorch_model-00001-of-00007.bin

启动模型

网页版 Demo

复制代码
python web_demo.py
相关推荐
说私域19 分钟前
基于开源链动2+1模式AI智能名片S2B2C商城小程序的社群运营创新研究
人工智能·小程序·开源
程序员小灰21 分钟前
谷歌AI模型Gemini 3.0 Pro,已经杀疯了!
人工智能·aigc·gemini
杨浦老苏30 分钟前
AI驱动的图表生成器Next-AI-Draw.io
人工智能·docker·ai·群晖·draw.io
饭饭大王66642 分钟前
深度学习在计算机视觉中的最新进展
人工智能·深度学习·计算机视觉
John_ToDebug43 分钟前
浏览器内核的“智变”:从渲染引擎到AI原生操作系统的征途
人工智能·chrome
用户48021517024744 分钟前
Transformer 的技术层面
人工智能
std78791 小时前
Intel Arrow Lake Refresh迎来DDR5‑7200 CUDIMM支持,提升内存兼容性
人工智能
小喵要摸鱼1 小时前
【卷积神经网络】卷积层、池化层、全连接层
人工智能·深度学习·cnn
YJlio2 小时前
[编程达人挑战赛] 用 PowerShell 写了一个“电脑一键初始化脚本”:从混乱到可复制的开发环境
数据库·人工智能·电脑
RoboWizard2 小时前
PCIe 5.0 SSD有无独立缓存对性能影响大吗?Kingston FURY Renegade G5!
人工智能·缓存·电脑·金士顿