【#第三期实战营闯关作业##LMDeploy 量化部署进阶实践 】

今天学习了《LMDeploy 量化部署进阶实践》一课,,收获很大。以下是记录复现过程及截图:

创建一个名为lmdeploy的conda环境

创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

相关包install成功

创建好的conda环境并启动InternLM2_5-7b-chat。这是对话截图

运行InternLM2.5 -20B模型,会发现此时显存占用大约71G:单卡80G-220=40G,40 0.8=32G,so,(权重)2*20G+32G(cache占用)=72G.

启动API服务器。后端logo

api的ui

以Gradio网页形式连接API服务器,输入http://127.0.0.1:6006,然后就可以与模型尽情对话了,就是上面截图。

相关推荐
IT古董1 分钟前
【第五章:计算机视觉-项目实战之生成对抗网络实战】1.对抗生成网络原理-(1)对抗生成网络算法基础知识:基本思想、GAN的基本架构、应用场景、标注格式
人工智能·生成对抗网络·计算机视觉
MoRanzhi120318 分钟前
0. NumPy 系列教程:科学计算与数据分析实战
人工智能·python·机器学习·数据挖掘·数据分析·numpy·概率论
金井PRATHAMA39 分钟前
语义网络(Semantic Net)对人工智能中自然语言处理的深层语义分析的影响与启示
人工智能·自然语言处理·知识图谱
Gerlat小智42 分钟前
【手撕机器学习 03】从“生数据”到“黄金特征”:机器学习项目中价值最高的一步
人工智能·机器学习
编程攻城狮1 小时前
第 5 天:C 语言运算符与表达式 —— 数据处理的工具集
c语言·开发语言·学习
云澈ovo1 小时前
稀疏化神经网络:降低AI推理延迟的量化压缩技术
人工智能·深度学习·神经网络
可触的未来,发芽的智生1 小时前
新奇特:神经网络的自洁之道,学会出淤泥而不染
人工智能·python·神经网络·算法·架构
腾飞开源1 小时前
01_系统架构设计
人工智能·系统架构·情感分析·工具调用·ai智能体·意图识别·智能路由
放羊郎1 小时前
SLAM算法分类对比
人工智能·算法·分类·数据挖掘·slam·视觉·激光
浮生如梦_1 小时前
图片转视频
图像处理·人工智能·计算机视觉·音视频