云上玩转DeepSeek系列之六:DeepSeek云端加速版发布,具备超高推理性能

作为国内首个千亿级开源 MoE 模型,DeepSeek-R1 凭借其卓越的代码生成与复杂推理能力,已成为开发者构建智能应用的首选。然而,原始模型在产业落地中面临严峻挑战,部署 671B 满血版模型不仅硬件门槛要求很高,同时吞吐效率和响应延迟也受到了制约。

PAI 正式推出了优化版 DeepSeek-R1 模型 DeepSeek-R1-PAI-optimized,将大模型推理效率推向了 Next Level。核心亮点有:

  • 技术领先:基于自研的模型优化"黑科技",模型体积大幅减小的同时,评测表现依然良好
  • 单机部署:单机8卡GU120即可实现高性能部署,硬件成本直接减半
  • 性能跃升:相同时延约束下,吞吐能提升492%+;相同吞吐下, 首token时延直降86%+,token间时延直降69%+
  • 开箱即用: 只需进入PAI Model Gallery,搜索DeepSeek-R1-PAI-optimized,实现模型一键部署

性能跃升:极致吞吐与超低时延

DeepSeek-R1 优化版模型 DeepSeek-R1-PAI-optimized,相较原模型,在吞吐和延迟方面实现了双优,全面提升推理流程的效率。

实验配置:

优化版部署在单机 GU120,原模型部署在双机 GU120,推理引擎为 vLLM;

数据集为 longalpaca-12k,输入token长度限定为3K,输出 token 长度限定为1K。

实验结果:

  • DeepSeek-R1 优化版模型的极限总吞吐约达到3865tokens/s ,极限输出吞吐达到965tokens/s ,相比原模型有50%提升。
  • 在相同的 SLO(TTFT <= 1000ms, TPOT <= 70ms)下,DeepSeek-R1 优化版模型的并发为60,输出吞吐能达到829tokens/s ;原模型的并发为10,输出吞吐能达到140tokens/s,优化版模型吞吐提升了492%。
  • 在同等输出吞吐水平下(约500tokens/s),DeepSeek-R1优化版模型的TTFT为405ms ,原模型的TTFT为2928ms,降低了86% ;DeepSeek-R1优化版模型的TPOT为38ms ,原模型的TPOT为123ms,降低了69%。 ****

以下是在各类评测数据集的测试结果,对比 DeepSeek-R1 优化版的实测数据,和 DeepSeek-R1 原模型的实测数据,发现表现几近持平,证明了优化版模型的效果基本无损。


极简操作:三步开始高性能推理

  1. 进入 Model Gallery 页面(链接:pai.console.aliyun.com/#/quick-sta...
    • 登录 PAI 控制台。
    • 在顶部左上角根据实际情况选择地域。
    • 在左侧导航栏选择工作空间列表,单击指定工作空间名称,进入对应工作空间内。
    • 在左侧导航栏选择快速开始 > Model Gallery。
  1. 部署优化版 DeepSeek-R1 模型

    • 在 Model Gallery 页面的模型列表中,搜索"DeepSeek-R1-PAI-optimized",找到并点击进入模型详情页面。
    • 单击右上角部署。选择部署方式和部署资源后,即可一键部署服务,生成一个 PAI-EAS 服务。
  1. 进行模型推理。

    • 部署成功后,在服务页面可以点击"查看调用信息"获取调用的 Endpoint 和 Token。
    • 点击模型介绍页,查看调用方式说明。

上阿里云PAI,使用更多DeepSeek衍生模型

除 DeepSeek-R1 满血版模型、 DeepSeek-R1 推理性能优化版模型外,PAI-Model Gallery 还提供以下衍生版本的模型,供不同需求场景下使用。

  • 大幅节省显存: DeepSeek-R1 量化版本 DeepSeek-R1-GGUF ,模型尺寸减少了 80% ,节省显存资源,性价比提升;
  • 小模型推理能力提升: DeepSeek-R1 蒸馏版本 PAI-DistilQwen2.5-7B-R1等,将 DeepSeek-R1的推理能力迁移到小模型中,实现原有小尺寸模型拥有推理能力;mp.weixin.qq.com/s/4xMt0fz1s...
  • 小模型推理速度提升: DeepSeek-V3 蒸馏版本 PAI-DistilQwen2.5-7B-DS3-0324 等,将 DeepSeekV3-0324 的快思考策略,迁移到小模型中,提升推理速度。mp.weixin.qq.com/s/QHI2-YBvX...
相关推荐
老金带你玩AI4 小时前
这几天,我都是拿手机让dot帮我干活
人工智能
7yewh7 小时前
SLAM 三维空间刚体运动(2)
数据结构·人工智能·机器人·嵌入式·slam
小虎AI生活7 小时前
WorkBuddy 模型选型实操:0.03 倍的 Space-Bunny 怎么用、派什么活、避什么坑
人工智能·超级个体·一人公司·青玥ai
ai小陈7 小时前
GPU服务器租用存储验收:检查点写入与磁盘吞吐实战
运维·服务器·人工智能·ai·ssh·gpu算力
微三云马玮均—GEO源码系统 私有化部署7 小时前
消费返物业费:消费+服务趋势的必然产物!
大数据·人工智能·物联网·区块链·生活
明月_清风8 小时前
Muse 登顶 App Store 第一,SDK 直接开源:AI Agent 开始进入下一个阶段
人工智能·后端
JackSparrow4148 小时前
和AI一起将全部CSDN博文迁移到个人博客站
人工智能·程序人生·ai·github·cloudflare·astro·静态博客
55873 生态系统8 小时前
第 22 篇|社区聊天|55873 文明共建者的日常交流与协作界面
人工智能·区块链·55873全域文明生态体系·55873操作系统·55873社区聊天
搬砖的小码农_Sky8 小时前
AI Agent:如何处理Claude Code 最近版本(2026年更新)引入的模型上下文限制
人工智能·windows·ai·ai编程