chatglm本地服务器大模型量化cpu INT4 INT8 half float运行、多卡多GPU运行改这一条指令就行啦!

一、ChatGLM3的几种推演方式

ChatGLM3常规方案的GPU推演中half和float是两种最常用的格式,half格式占13GB显存,float格式占40GB显存。此外还提供了几种GPU量化格式的推演:INT4和INT8量化。

CPU版本的ChatGLM3推演:

python 复制代码
model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).cpu().float()

INT4版本的ChatGLM3推演:(不是所有的硬件都支持INT4操作)

python 复制代码
model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).quantize(4).cuda()

INT8版本的ChatGLM3推演:

python 复制代码
model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).quantize(8).cuda()

half版本的ChatGLM3推演:

python 复制代码
model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).half().cuda()

float版本的ChatGLM3推演:

python 复制代码
model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).float().cuda()

二、多卡推演

由于高精度的float推演形式需要较大的显存(40G),往往一张显卡很难满足其生产力需求,这时我们就可以使用多张显卡同时进行推演运算,而实现多卡推演的方式其实也特别简单。我们在这采取最简单的一种方式,就是在上述代码中加上一句device_map="auto"就可以了。

例:

python 复制代码
model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True, device_map="auto").float()

这时我们将float量化的模型启动起来,新建一个terminal窗口输入nvidia-smi -l 2便可查看各显卡的使用情况:

bash 复制代码
nvidia-smi -l 2

就可以看到三张显卡都自动分配运行起来了以满足40G的运存要求:

相关推荐
熬了夜的程序员1 分钟前
Linux 下的 AWK 命令详细指南与示例
linux·运维·服务器
全栈小539 分钟前
【PHP】部署和发布PHP网站到IIS服务器
服务器·开发语言·php
weixin_442643421 小时前
数据跨网传输无忧:FileLink打造内外网文件传输的安全桥梁
服务器·网络·安全·filelink内外网文件传输
命里有定数1 小时前
Ubuntu问题 -- 通过远程修改文件配置ubuntu服务器的静态IP (不需要到服务器现场) (通过NetworkManager)
运维·服务器·tcp/ip·ubuntu·网卡
AI青年志1 小时前
【linux】服务器加装硬盘后如何将其设置为独立硬盘使用
linux·运维·服务器
安科瑞刘鸿鹏1 小时前
光伏运维监测系统在“双碳”环境中的应用
运维·服务器·网络·物联网·能源
2301_775765521 小时前
网络编程day2.2~day3——TCP并发服务器
运维·服务器
绳全1 小时前
OAuth2资源服务器白名单接口带token被拦截
java·服务器·spring
Mango0000001 小时前
SEO网站都用哪里的服务器
运维·服务器
GISer_Jing1 小时前
Tomcat和Nginx原理说明
服务器·开发语言·javascript