【#第三期实战营闯关作业##LMDeploy 量化部署进阶实践 】

今天学习了《LMDeploy 量化部署进阶实践》一课,,收获很大。以下是记录复现过程及截图:

创建一个名为lmdeploy的conda环境

创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

相关包install成功

创建好的conda环境并启动InternLM2_5-7b-chat。这是对话截图

运行InternLM2.5 -20B模型,会发现此时显存占用大约71G:单卡80G-220=40G,40 0.8=32G,so,(权重)2*20G+32G(cache占用)=72G.

启动API服务器。后端logo

api的ui

以Gradio网页形式连接API服务器,输入http://127.0.0.1:6006,然后就可以与模型尽情对话了,就是上面截图。

相关推荐
简简单单做算法2 小时前
基于mediapipe深度学习和限定半径最近邻分类树算法的人体摔倒检测系统python源码
人工智能·python·深度学习·算法·分类·mediapipe·限定半径最近邻分类树
Aphelios3803 小时前
Java全栈面试宝典:线程机制与Spring IOC容器深度解析
java·开发语言·jvm·学习·rbac
就决定是你啦!3 小时前
机器学习 第一章 绪论
人工智能·深度学习·机器学习
日暮南城故里3 小时前
Java学习------源码解析之StringBuilder
java·开发语言·学习·源码
有个人神神叨叨5 小时前
OpenAI发布的《Addendum to GPT-4o System Card: Native image generation》文件的详尽笔记
人工智能·笔记
林九生5 小时前
【Python】Browser-Use:让 AI 替你掌控浏览器,开启智能自动化新时代!
人工智能·python·自动化
安全方案6 小时前
精心整理-2024最新网络安全-信息安全全套资料(学习路线、教程笔记、工具软件、面试文档).zip
笔记·学习·web安全
士别三日&&当刮目相看6 小时前
JAVA学习*Object类
java·开发语言·学习
liuyunshengsir6 小时前
AI Agent 实战:搭建个人在线旅游助手
人工智能·旅游
Shawn_Shawn6 小时前
大模型微调介绍
人工智能