【InternLM 实战营笔记】LMDeploy量化internlm2-chat-20b模型

准备环境

拉取环境

bash 复制代码
/root/share/install_conda_env_internlm_base.sh lmdeploy

激活环境

bash 复制代码
conda activate lmdeploy

安装依赖库

bash 复制代码
# 解决 ModuleNotFoundError: No module named 'packaging' 问题
pip install packaging
# 使用 flash_attn 的预编译包解决安装过慢问题
pip install /root/share/wheels/flash_attn-2.4.2+cu118torch2.0cxx11abiTRUE-cp310-cp310-linux_x86_64.whl

pip install 'lmdeploy[all]==v0.2.4'

复制模型

bash 复制代码
cp -r /root/share/model_repos/internlm2-chat-20b/ /root/model/

INT4 权重量化

bash 复制代码
lmdeploy lite auto_awq \
   "/root/model/internlm2-chat-20b/" \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --work-dir ./quant_output 

使用控制台和模型对话

bash 复制代码
lmdeploy chat turbomind ./quant_output --model-format awq
相关推荐
dr李四维13 分钟前
iOS构建版本以及Hbuilder打iOS的ipa包全流程
前端·笔记·ios·产品运营·产品经理·xcode
Komorebi.py4 小时前
【Linux】-学习笔记05
linux·笔记·学习
亦枫Leonlew4 小时前
微积分复习笔记 Calculus Volume 1 - 6.5 Physical Applications
笔记·数学·微积分
冰帝海岸9 小时前
01-spring security认证笔记
java·笔记·spring
小二·10 小时前
java基础面试题笔记(基础篇)
java·笔记·python
wusong99913 小时前
mongoDB回顾笔记(一)
数据库·笔记·mongodb
猫爪笔记13 小时前
前端:HTML (学习笔记)【1】
前端·笔记·学习·html
Resurgence0313 小时前
【计组笔记】习题
笔记
pq113_613 小时前
ftdi_sio应用学习笔记 3 - GPIO
笔记·学习·ftdi_sio
爱米的前端小笔记14 小时前
前端八股自学笔记分享—页面布局(二)
前端·笔记·学习·面试·求职招聘