【InternLM 实战营笔记】LMDeploy量化internlm2-chat-20b模型

准备环境

拉取环境

bash 复制代码
/root/share/install_conda_env_internlm_base.sh lmdeploy

激活环境

bash 复制代码
conda activate lmdeploy

安装依赖库

bash 复制代码
# 解决 ModuleNotFoundError: No module named 'packaging' 问题
pip install packaging
# 使用 flash_attn 的预编译包解决安装过慢问题
pip install /root/share/wheels/flash_attn-2.4.2+cu118torch2.0cxx11abiTRUE-cp310-cp310-linux_x86_64.whl

pip install 'lmdeploy[all]==v0.2.4'

复制模型

bash 复制代码
cp -r /root/share/model_repos/internlm2-chat-20b/ /root/model/

INT4 权重量化

bash 复制代码
lmdeploy lite auto_awq \
   "/root/model/internlm2-chat-20b/" \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --work-dir ./quant_output 

使用控制台和模型对话

bash 复制代码
lmdeploy chat turbomind ./quant_output --model-format awq
相关推荐
咔叽布吉1 小时前
【论文阅读笔记】CamoFormer: Masked Separable Attention for Camouflaged Object Detection
论文阅读·笔记·目标检测
johnny2331 小时前
《大模型应用开发极简入门》笔记
笔记·chatgpt
亦枫Leonlew1 小时前
微积分复习笔记 Calculus Volume 1 - 4.7 Applied Optimization Problems
笔记·数学·微积分·1024程序员节
小肥象不是小飞象1 小时前
(六千字心得笔记)零基础C语言入门第八课——函数(上)
c语言·开发语言·笔记·1024程序员节
星LZX1 小时前
WireShark入门学习笔记
笔记·学习·wireshark
努力变厉害的小超超3 小时前
ArkTS中的组件基础、状态管理、样式处理、class语法以及界面渲染
笔记·鸿蒙
aloha_7897 小时前
从零记录搭建一个干净的mybatis环境
java·笔记·spring·spring cloud·maven·mybatis·springboot
dsywws8 小时前
Linux学习笔记之vim入门
linux·笔记·学习
A-超11 小时前
vue3展示pag格式动态图
笔记
u01015265811 小时前
STM32F103C8T6学习笔记2--LED流水灯与蜂鸣器
笔记·stm32·学习