今天学习了《LMDeploy 量化部署进阶实践》一课,,收获很大。以下是记录复现过程及截图:
创建一个名为lmdeploy的conda环境
创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。
相关包install成功
创建好的conda环境并启动InternLM2_5-7b-chat。这是对话截图
运行InternLM2.5 -20B模型,会发现此时显存占用大约71G:单卡80G-220=40G,40 0.8=32G,so,(权重)2*20G+32G(cache占用)=72G.
启动API服务器。后端logo
api的ui
以Gradio网页形式连接API服务器,输入http://127.0.0.1:6006,然后就可以与模型尽情对话了,就是上面截图。