ChatGLM2-6B 大语言模型本地搭建

ChatGLM模型介绍:

ChatGLM2-6B 是清华 NLP 团队于不久前发布的中英双语对话模型,它具备了强大的问答和对话功能。拥有最大32K上下文,并且在授权后可免费商用!

ChatGLM2-6B的6B代表了训练参数量为60亿,同时运用了模型量化技术,意味着用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)

详细介绍(官方git:https://github.com/thudm/chatglm2-6b ):

环境安装

虚拟环境创建:

查看地虚拟环境

复制代码
conda env list

创建虚拟环境

复制代码
conda create -n ChatGLM2-6B

激活虚拟环境

复制代码
conda activate ChatGLM2-6B

下载本仓库:

复制代码
git clone https://github.com/THUDM/ChatGLM2-6B

# 进入目录
cd ChatGLM2-6B

安装依赖

复制代码
pip install -r requirements.txt

下载模型

从 Hugging Face Hub 下载模型需要先安装Git LF

安装Git LF

复制代码
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
# 验证安装成功
git lfs install

# 如果出现: Git LFS initialized.  则说明成功

git clone https://huggingface.co/THUDM/chatglm2-6b

复制代码
模型下载失败

### 国内镜像地址

git clone https://hf-mirror.com/THUDM/chatglm2-6b
复制代码
下载模型时间较长,如下载失败可尝试手动下载模型
### 手动下载模型
AI快站
https://aifasthub.com/models/THUDM

手动下载以下模模文件

复制代码
wgethttps://aifasthub.com/models/THUDM/chatglm2-6b/pytorch_model-00001-of-00007.bin

启动模型

网页版 Demo

复制代码
python web_demo.py
相关推荐
跳跳糖炒酸奶9 分钟前
第四章、Isaacsim在GUI中构建机器人(1): 添加简单对象
人工智能·python·ubuntu·机器人
扫地的小何尚10 分钟前
NVIDIA工业设施数字孪生中的机器人模拟
android·java·c++·链表·语言模型·机器人·gpu
猿饵块15 分钟前
机器人--ros2--IMU
人工智能
硅谷秋水15 分钟前
MoLe-VLA:通过混合层实现的动态跳层视觉-语言-动作模型实现高效机器人操作
人工智能·深度学习·机器学习·计算机视觉·语言模型·机器人
LS_learner17 分钟前
小智机器人关键函数解析,Application::OutputAudio()处理音频数据的输出的函数
人工智能·嵌入式硬件
2301_7644413332 分钟前
基于神经网络的肾脏疾病预测模型
人工智能·深度学习·神经网络
子燕若水39 分钟前
用gpt-4o 生成图的教程和常用提示词
人工智能
weixin_4424240343 分钟前
Opencv计算机视觉编程攻略-第七节 提取直线、轮廓和区域
人工智能·opencv·计算机视觉
x-cmd1 小时前
[250401] OpenAI 向免费用户开放 GPT-4o 图像生成功能 | Neovim 0.11 新特性解读
人工智能·gpt·文生图·openai·命令行·neovim
HABuo1 小时前
【YOLOv8】YOLOv8改进系列(12)----替换主干网络之StarNet
人工智能·深度学习·yolo·目标检测·计算机视觉