试试本地搭建AI模型-ChatGLM-6B(4)

上面我们已经完成了,部署所需要的所有环境配置,接下来就开始部署ChatGLM-6B模型吧!

章节

下载官方代码,安装Python依赖的库

首先,我们需要从GitHub上下载ChatGLM的requirements.txt来帮助我们安装依赖的库。

下载地址:github.com/THUDM/ChatG...

下载完成后我们进入项目内,找到requirements.txt,这个文件记录了ChatGLM-6B依赖的Python库及版本。进入cmd,执行以下命令:

复制代码
pip install -r requirements.txt

下载INT4量化后的预训练结果文件

在上述的依赖环境安装完毕之后,大家接下来就要下载预训练结果。

INT4量化的预训练文件下载地址:huggingface.co/THUDM/chatg...

需要注意的是,在GitHub上,官方提供了模型在清华云上的下载地址,但是那个只包含预训练结果文件,即bin文件,但实际上ChatGLM-6B的运行需要模型的配置文件,即config.json等,如下图所示:

因此建议大家全部从HuggingFace上下载所有文件到本地。上述文件全部下载之后保存到本地的一个目录下即可,我们保存在 E:\Desktop\AI\glm-train-data\model

运行ChatGLM-6B模型

01.确认好自己本地模型路径并修改路径格式:

E:\Desktop\AI\glm-train-data\model

02.解决No compiled kernel found问题

模型自动编译会报错,所以我们需要提前手动对模型文件进行编译:

找到我们模型存放的地址,进入cmd执行以下命令(注意:gcc上述文章有介绍):

ini 复制代码
gcc -fPIC -pthread -fopenmp -std=c99 quantization_kernels.c -shared -o quantization_kernels.so
gcc -fPIC -pthread -fopenmp -std=c99 quantization_kernels_parallel.c -shared -o quantization_kernels_parallel.so

如下图所示即为运行成功

大家可以看到多了2个编译后的文件

03.使用cpu运行模型

  • 进入cmd
  • 输入python,进入python环境
  • 执行以下指令(模型路径更换自己的本地路径)
ini 复制代码
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("E:\Desktop\AI\glm-train-data\model", trust_remote_code=True, revision="")
model = AutoModel.from_pretrained("E:\Desktop\AI\glm-train-data\model",trust_remote_code=True, revision="").float()
model = model.quantize(bits=4, kernel_file="E:\Desktop\AI\glm-train-data\model\quantization_kernels.so")
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)

经过漫长的等待后,执行结束!cpu模式训练时间太长,基本可以放弃

04.使用GPU版本运行

上面cuda,torch等环境都是为了GPU版本的运行而准备(注意:提前看自己的显存!)

  • 进入cmd
  • 输入python,进入python环境
  • 执行以下指令(模型路径更换自己的本地路径)
ini 复制代码
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("E:\Desktop\AI\glm-train-data\model", trust_remote_code=True, revision="")
model = AutoModel.from_pretrained("E:\Desktop\AI\glm-train-data\model", trust_remote_code=True, revision="").half().cuda()
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)

很多我们就运行成功啦!

当然也会出现以下情况😭,显存不足!!!!

这种情况只好尝试清理显存占用,如果还不行,就只能使用缓慢的cpu模式调试或者更换机器啦!

  • 查看显存情况 nvidia-smi
  • 释放显存 torch.cuda.empty_cache()
  • 总结

01.GPU显存占用率和存入的数据尺寸成正相关,越大的数据占用显存越多

02.只要使用了GPU,就至少会占x xx M的显存,且这部分显存无法被释放

03.当一块内存不再被变量所引用时,这块内存就由激活内存转为失活内存,但它仍然存在于这个数据队列中

04.当数据队列达到某个阈值时,CUDA会触发垃圾回收机制,清理失活内存

05.运行torch.cuda.empty_cache()可以手动清理失活内存

相关推荐
码事漫谈3 小时前
当公司不久后变成冒险者公会,我担心什么
后端
Flynt4 小时前
AI 写的 Three.js 大屏,为什么越跑越卡?我在 Node 里复现了它的内存曲线
前端·ai编程·three.js
Csvn5 小时前
Nginx 负载均衡进阶与健康检查:哈希、keepalive 池与 DNS 自愈
后端·nginx
皮皮林5515 小时前
京东又开源一款新框架,用起来真优雅!
后端
学长毕设5 小时前
基于SpringBoot智慧养老服务平台设计与实现-附源码
java·spring boot·后端
一个游离的指针6 小时前
Vue2:vue-router
前端·javascript·vue.js
学无止境小袁同学8 小时前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli
郝学胜-神的一滴8 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
行百里er8 小时前
【Spring Insight 技术分享】跨服务调用链路是怎么串起来的?
后端·spring·开源
火山引擎和TA的超级拍档们8 小时前
产品情报局 11 | AI 数据湖 LAS:打造大模型时代多模态数据底座
前端·后端