Deepseek 的创新及计算速度快和成本低的原因

Deepseek 的创新

  • 开源模型
  • MLA :通过低秩健值联合压缩的注意力机制。显著减小kv缓存的同时提高计算效率。
  • MOE:Deepseek-MoE
    V3使用了61个MoE( Mix of Expert 混合专家)block,虽然总参数量很大,但每次训练或推理时只激活了很少的链路,训练成本大大降低,推理速度显著提高。
    MoE 类比医院的分诊台,在过去所有病人都要找全科医生,效率低。
  • 混合精度框架
    使用了FP8数据格式,但为了简化说明,只展示了线性算子(Linear Operator)的部分
    在不同区块里使用不同的精度来存储数据。我们知道精度高,占用内存多,运算复杂度大。Deepseek 在一些不需要高精度的模块,使用很低的精度FP8存储数据。
  • 名称规则:Qwen3-Coder-480B-A35B-Instruct
    • 480B 完整尺寸的模型参数大小
    • A35B ,激活的参数数量是35B

Q : 为什么Deepseek 计算速度快,成本低?

  • 架构设计方面
    • DeepSeek MoE 架构:在推理时仅激活部分专家,避免了激活所有参数带来的计算资源浪费
    • MLA 架构:MLA通过降秩kv 矩阵,减少了显存消耗。
  • 训练策略方面
    • 多token 预测(MTP)目标:在训练过程中采用了多token预测目标,即在每个位置上预测多个未来token,增加了训练信号的密度,提高了数据效率。
    • 混合精度训练框架:在训练中,对于占据大量计算量的通用矩阵乘法(GEMM)操作,采用FP8精度执行。同时,通过细粒度量化策略和高精度累积过程,解决了低精度训练中出现的量化误差问题。

Q : 为什么Deepseek-R1的推理能力强大?

  • 强化学习驱动:DeepSeek-R1 通过大规模强化学习技术显著提升了推理能力。在数学、代码和自然语言
  • 长链推理(CoT)技术:DeepSeek-R1采用长链推理技术,其思维链长度可达数万字,能够逐帧分解复杂问题,通过多步骤的逻辑推理来解决问题
相关推荐
武昌库里写JAVA6 小时前
SpringBoot+Vue 项目介绍
java·javascript·git·sql·ai
VIP_CQCRE6 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
zhuangzhao1198 小时前
第一性原理大模型课程 · 第 21 课:从 Prompt 到 Agent:四件套、错误累积与 ReAct 手算
大模型·react·ai agent·错误累积·大模型课程
YIAN10 小时前
从 LangChain 到 DeepAgents:手把手拆解 createAgent、Middleware 与复杂 Agent
javascript·langchain·deepseek
七夜zippoe11 小时前
Agent 告警设计:分级告警、智能降噪与值班排班
开发语言·ai·agent·告警·智能降噪·值班排班
大模型真好玩11 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek
ZzT11 小时前
open-code-review 原理解读与 Claude Code 对比实测
ai编程·claude
IT规划师12 小时前
AI 价值落地的架构决策:从四层技术栈到组织能力的最后一公里
ai编程
Dawson Zhu14 小时前
【模型量化⑤】Weight-Only INT4:AWQ与GPTQ两大算法深度解析
人工智能·语言模型·架构·aigc·agi
wflynn16 小时前
AI 产品 ChatPRD 遭遇 token 欺诈,滥用者用免费试用构建游戏地图
ai·技术