大模型实战营Day5 作业

基础作业:

  • 使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型,生成 300 字的小故事(需截图)

TurboMind 推理+命令行本地对话

bash 复制代码
lmdeploy chat turbomind /share/temp/model_repos/internlm-chat-7b/  --model-name internlm-chat-7b

TurboMind推理+API服务

网页 Demo 演示

一个终端

bash 复制代码
lmdeploy serve api_server ./workspace \
> --server_name 0.0.0.0 \
> --server_port 23333 \
> --instance_num 64 \
> --tp 1

另一个终端

bash 复制代码
lmdeploy serve gradio http://0.0.0.0:23333 \
> --server_name 0.0.0.0 \
> --server_port 6006 \
> --restful_api True

进阶作业(可选做)

  • 将第四节课训练自我认知小助手模型使用 LMDeploy 量化部署到 OpenXLab 平台。
  • 对internlm-chat-7b模型进行量化,并同时使用KV Cache量化,使用量化后的模型完成API服务的部署,分别对比模型量化前后和 KV Cache 量化前后的显存大小(将 bs设置为 1 和 max len 设置为512)。
  • 在自己的任务数据集上任取若干条进行Benchmark测试,测试方向包括:
    (1)TurboMind推理+Python代码集成
    (2)在(1)的基础上采用W4A16量化
    (3)在(1)的基础上开启KV Cache量化
    (4)在(2)的基础上开启KV Cache量化
    (5)使用Huggingface推理
相关推荐
风口猪炒股指标3 分钟前
《白日梦想家》片段与认知模式的思考
人工智能·博弈论·群体博弈·人生哲学·自我引导觉醒
lihuayong32 分钟前
LangGraph React智能体 - 推理与行动的完美结合
人工智能·langgraph·react 智能体
机器之心34 分钟前
Meta用40万个GPU小时做了一个实验,只为弄清强化学习Scaling Law
人工智能·openai
马尚来35 分钟前
helloworld入门【从0到1,LangChain+RAG全链路实战AI知识库】
langchain
马尚来36 分钟前
从0到1,LangChain+RAG全链路实战AI知识库
langchain
曾经的三心草38 分钟前
OpenCV5-图像特征harris-sift-特征匹配-图像全景拼接-答题卡识别判卷
人工智能·opencv·计算机视觉
慧星云1 小时前
魔多 AI 支持 Wan 系列在线训练 :解锁视频生成新高度
人工智能
麻辣兔变形记1 小时前
Solidity 合约超限问题及优化策略:以 FHEFactory 为例
人工智能·区块链
渡我白衣2 小时前
未来的 AI 操作系统(二)——世界即界面:自然语言成为新的人机交互协议
人工智能·语言模型·人机交互
墨利昂2 小时前
词向量:自然语言处理技术体系的核心基石
人工智能·自然语言处理