【#第三期实战营闯关作业##LMDeploy 量化部署进阶实践 】

今天学习了《LMDeploy 量化部署进阶实践》一课,,收获很大。以下是记录复现过程及截图:

创建一个名为lmdeploy的conda环境

创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

相关包install成功

创建好的conda环境并启动InternLM2_5-7b-chat。这是对话截图

运行InternLM2.5 -20B模型,会发现此时显存占用大约71G:单卡80G-220=40G,40 0.8=32G,so,(权重)2*20G+32G(cache占用)=72G.

启动API服务器。后端logo

api的ui

以Gradio网页形式连接API服务器,输入http://127.0.0.1:6006,然后就可以与模型尽情对话了,就是上面截图。

相关推荐
大千AI助手16 分钟前
Hoeffding树:数据流挖掘中的高效分类算法详解
人工智能·机器学习·分类·数据挖掘·流数据··hoeffding树
新子y16 分钟前
【小白笔记】区分类方法/实例方法和静态函数/命名空间函数
笔记·分类
新知图书38 分钟前
大模型微调定义与分类
人工智能·大模型应用开发·大模型应用
山烛42 分钟前
一文读懂YOLOv4:目标检测领域的技术融合与性能突破
人工智能·yolo·目标检测·计算机视觉·yolov4
大千AI助手43 分钟前
独热编码:分类数据处理的基石技术
人工智能·机器学习·分类·数据挖掘·特征工程·one-hot·独热编码
钱彬 (Qian Bin)1 小时前
项目实践4—全球证件智能识别系统(Qt客户端开发+FastAPI后端人工智能服务开发)
人工智能·qt·fastapi
钱彬 (Qian Bin)1 小时前
项目实践3—全球证件智能识别系统(Qt客户端开发+FastAPI后端人工智能服务开发)
人工智能·qt·fastapi
Microsoft Word1 小时前
向量数据库与RAG
数据库·人工智能·向量数据库·rag
梁辰兴1 小时前
企业培训笔记:外卖平台后端--套餐管理模块--新建套餐信息
笔记·vue·mybatis·springboot·外卖管理系统
degen_1 小时前
第一次进入 PEICORE 流程
c语言·笔记