【InternLM 实战营笔记】LMDeploy量化internlm2-chat-20b模型

准备环境

拉取环境

bash 复制代码
/root/share/install_conda_env_internlm_base.sh lmdeploy

激活环境

bash 复制代码
conda activate lmdeploy

安装依赖库

bash 复制代码
# 解决 ModuleNotFoundError: No module named 'packaging' 问题
pip install packaging
# 使用 flash_attn 的预编译包解决安装过慢问题
pip install /root/share/wheels/flash_attn-2.4.2+cu118torch2.0cxx11abiTRUE-cp310-cp310-linux_x86_64.whl

pip install 'lmdeploy[all]==v0.2.4'

复制模型

bash 复制代码
cp -r /root/share/model_repos/internlm2-chat-20b/ /root/model/

INT4 权重量化

bash 复制代码
lmdeploy lite auto_awq \
   "/root/model/internlm2-chat-20b/" \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --work-dir ./quant_output 

使用控制台和模型对话

bash 复制代码
lmdeploy chat turbomind ./quant_output --model-format awq
相关推荐
悠哉悠哉愿意20 小时前
【机器学习学习笔记】线性回归实现与应用
笔记·学习·机器学习
大筒木老辈子21 小时前
Linux笔记---计算机网络概述
linux·笔记·计算机网络
沐小侠1 天前
软件设计师——软件工程学习笔记
笔记·学习·软件工程
汇能感知1 天前
光谱相机在手机行业的应用
经验分享·笔记·科技
moxiaoran57531 天前
Python学习笔记--使用Django修改和删除数据
笔记·python·学习
wan5555cn1 天前
【警惕】疑似一种新型金融黑灰产骗局大规模爆发
笔记·深度学习·音视频·生活
我命由我123451 天前
Photoshop - Photoshop 触控手势
笔记·学习·ui·设计·photoshop·ps·美工
夏暮客1 天前
day2today3夏暮客的Python之路
笔记·python·学习
悠哉悠哉愿意1 天前
【数学建模学习笔记】时间序列分析:LSTM
笔记·学习·数学建模
咸甜适中1 天前
rust语言 (1.88) egui (0.32.1) 学习笔记(逐行注释)(二十四)窗口颜色、透明度、居中显示
笔记·学习·rust·egui