【#第三期实战营闯关作业##LMDeploy 量化部署进阶实践 】

今天学习了《LMDeploy 量化部署进阶实践》一课,,收获很大。以下是记录复现过程及截图:

创建一个名为lmdeploy的conda环境

创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

相关包install成功

创建好的conda环境并启动InternLM2_5-7b-chat。这是对话截图

运行InternLM2.5 -20B模型,会发现此时显存占用大约71G:单卡80G-220=40G,40 0.8=32G,so,(权重)2*20G+32G(cache占用)=72G.

启动API服务器。后端logo

api的ui

以Gradio网页形式连接API服务器,输入http://127.0.0.1:6006,然后就可以与模型尽情对话了,就是上面截图。

相关推荐
天水幼麟18 分钟前
动手学深度学习-学习笔记(总)
笔记·深度学习·学习
jndingxin2 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
天水幼麟3 小时前
动手学深度学习-学习笔记【二】(基础知识)
笔记·深度学习·学习
Sweet锦3 小时前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
绿皮的猪猪侠3 小时前
算法笔记上机训练实战指南刷题
笔记·算法·pta·上机·浙大
沧海一笑-dj3 小时前
【51单片机】51单片机学习笔记-课程简介
笔记·学习·51单片机·江科大·江科大学习笔记·江科大单片机·江科大51单片机
老虎06273 小时前
JavaWeb(苍穹外卖)--学习笔记04(前端:HTML,CSS,JavaScript)
前端·javascript·css·笔记·学习·html
hie988944 小时前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学03274 小时前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉
蓝婷儿4 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习