【InternLM 实战营笔记】LMDeploy量化internlm2-chat-20b模型

准备环境

拉取环境

bash 复制代码
/root/share/install_conda_env_internlm_base.sh lmdeploy

激活环境

bash 复制代码
conda activate lmdeploy

安装依赖库

bash 复制代码
# 解决 ModuleNotFoundError: No module named 'packaging' 问题
pip install packaging
# 使用 flash_attn 的预编译包解决安装过慢问题
pip install /root/share/wheels/flash_attn-2.4.2+cu118torch2.0cxx11abiTRUE-cp310-cp310-linux_x86_64.whl

pip install 'lmdeploy[all]==v0.2.4'

复制模型

bash 复制代码
cp -r /root/share/model_repos/internlm2-chat-20b/ /root/model/

INT4 权重量化

bash 复制代码
lmdeploy lite auto_awq \
   "/root/model/internlm2-chat-20b/" \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --work-dir ./quant_output 

使用控制台和模型对话

bash 复制代码
lmdeploy chat turbomind ./quant_output --model-format awq
相关推荐
sz-lcw3 小时前
MySQL知识笔记
笔记·mysql·adb
古译汉书3 小时前
嵌入式铁头山羊STM32-各章节详细笔记-查阅传送门
数据结构·笔记·stm32·单片机·嵌入式硬件·个人开发
2301_800050996 小时前
DNS 服务器
linux·运维·笔记
汇能感知6 小时前
光谱相机的未来趋势
经验分享·笔记·科技
风已经起了9 小时前
FPGA学习笔记——图像处理之对比度调节(直方图均衡化)
图像处理·笔记·学习·fpga开发·fpga
go_bai9 小时前
Linux--常见工具
linux·开发语言·经验分享·笔记·vim·学习方法
sjh210011 小时前
【学习笔记】20年前的微芯an1078foc技术,smo滑模位置估计,反电动势波形还不错,为何位置估计反而超前了呢?
笔记·学习
航Hang*12 小时前
Kurt-Blender零基础教程:第3章:材质篇——第1节:材质基础~原理化BSDF,添加有纹理材质与用蒙版做纹理叠加
笔记·blender·材质·建模
泽虞13 小时前
《C++程序设计》笔记p4
linux·开发语言·c++·笔记·算法
峰顶听歌的鲸鱼14 小时前
29.Linux防火墙管理
linux·运维·网络·笔记·学习方法