ChatGLM2-6B 大语言模型本地搭建

ChatGLM模型介绍:

ChatGLM2-6B 是清华 NLP 团队于不久前发布的中英双语对话模型,它具备了强大的问答和对话功能。拥有最大32K上下文,并且在授权后可免费商用!

ChatGLM2-6B的6B代表了训练参数量为60亿,同时运用了模型量化技术,意味着用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)

详细介绍(官方git:https://github.com/thudm/chatglm2-6b ):

环境安装

虚拟环境创建:

查看地虚拟环境

复制代码
conda env list

创建虚拟环境

复制代码
conda create -n ChatGLM2-6B

激活虚拟环境

复制代码
conda activate ChatGLM2-6B

下载本仓库:

复制代码
git clone https://github.com/THUDM/ChatGLM2-6B

# 进入目录
cd ChatGLM2-6B

安装依赖

复制代码
pip install -r requirements.txt

下载模型

从 Hugging Face Hub 下载模型需要先安装Git LF

安装Git LF

复制代码
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
# 验证安装成功
git lfs install

# 如果出现: Git LFS initialized.  则说明成功

git clone https://huggingface.co/THUDM/chatglm2-6b

复制代码
模型下载失败

### 国内镜像地址

git clone https://hf-mirror.com/THUDM/chatglm2-6b
复制代码
下载模型时间较长,如下载失败可尝试手动下载模型
### 手动下载模型
AI快站
https://aifasthub.com/models/THUDM

手动下载以下模模文件

复制代码
wgethttps://aifasthub.com/models/THUDM/chatglm2-6b/pytorch_model-00001-of-00007.bin

启动模型

网页版 Demo

复制代码
python web_demo.py
相关推荐
火山引擎开发者社区21 小时前
TLS for DeepSeek Harness 可观测实践:从系统总览到会话复盘
人工智能
数字融合1 天前
透明化地铁线视频孪生综合监控项目技术
大数据·人工智能·virtualenv
鼎艺创新科技1 天前
不依赖 UE/Unity:我们如何从零搭建一套国产三维 GIS 渲染引擎
人工智能·算法·unity·游戏引擎·三维电子沙盘
十三画者1 天前
【文献分享】ConfRetro:融合3D构象信息的逆合成预测Transformer框架
人工智能·深度学习·数据挖掘·数据分析·transformer·数据可视化
前沿在线1 天前
百度文心助手推出任务引擎 2.0,日活用户同比增长 83%,日均对话轮次增长超 2 倍
人工智能·ai·大模型
zandy10111 天前
AI办公工具选哪个?千问办公、百度搭子、WorkBuddy三款高阶智能体深度拆解
人工智能·ai办公工具
mengpp_1234561 天前
AIoT平台 vs 普通IoT平台 核心区别
人工智能
canonical_entropy1 天前
可逆不是逆向运行:DeepSeek Harness 架构的数学本质
人工智能·架构·agent
别动我齐刘海1 天前
机器人运动控制学习2——基础进阶
c++·人工智能·神经网络·学习·目标检测·机器学习·机器人
冬奇Lab1 天前
Code Agent 解剖(05):模型怎么知道有哪些工具可以用?Function Calling 如何实现?
人工智能·开源·agent