【#第三期实战营闯关作业##LMDeploy 量化部署进阶实践 】

今天学习了《LMDeploy 量化部署进阶实践》一课，，收获很大。以下是记录复现过程及截图：

创建一个名为lmdeploy的conda环境

创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

相关包install成功

创建好的conda环境并启动InternLM2_5-7b-chat。这是对话截图

运行InternLM2.5 -20B模型，会发现此时显存占用大约71G：单卡80G-220=40G,40 0.8=32G,so,（权重）2*20G+32G(cache占用）=72G.

启动API服务器。后端logo

api的ui

以Gradio网页形式连接API服务器,输入http://127.0.0.1:6006，然后就可以与模型尽情对话了，就是上面截图。