咱把这张 DeepSeek-R1 的架构图拆成几块唠,保证小白也能听懂!就当是带着大家"逛" 模型从训练到能用的 "流水线工厂",每个模块是干啥的、数据咋流动,一一说清楚~
一、Offline Training Pipeline(离线训练流水线)
这部分是 **"模型的产房"**,负责把 "基础模型胚子" 打磨成能用的智能模型,就像工厂里把原材料加工成半成品~
1. Base Model(DeepSeek - V3 - Base) 模型"毛坯"
-
是啥:可以理解成 "模型的地基"!就像盖房子先打地基,这里是最基础的模型版本,已经学了很多通用知识(比如语言规律、常识等),但还得继续调教。
-
角色:所有后续训练的 "起点",是个有潜力的 "好学生苗子",但得接着教它更贴合需求的技能。
-
技术:大语言模型基础架构(Transformer架构,理解文字的核心逻辑)
2. RL stage(强化学习阶段) RL Trainer → R1 - Zero
-
是啥 :可以简单想成 "给模型请个教练"!RL(强化学习)就是让模型在练习中,根据 "表现好坏" 调整自己。这里的
RL Trainer
是负责教模型的 "教练工具",把基础模型 "训练" 成R1 - Zero
这个版本。 -
技术:强化学习(RL)算法,像给模型发"小红花"(奖励)或"小鞭子"(惩罚),让它记住好行为。
-
数据流 :
Base Model
把自己 "交" 给RL Trainer
,经过强化学习的训练(就像学生听教练指令练习),输出R1 - Zero
。可以理解成:地基打好 → 教练带着练 → 变成 "初级优化版模型"。
3. seed SFT (监督微调)SFT Seeder → Intermediate
-
SFT 是啥:SFT 就是 "监督微调",简单说就是 "给模型喂更精准的练习题 + 答案",让它学更具体的技能。比如教它怎么好好聊天、回答问题。
-
模块角色 :
SFT Seeder
是执行 "监督微调" 的工具,拿R1 - Zero
当 "学生",用更细致的训练(seed SFT 阶段),把它变成Intermediate
(中间版本模型)。 -
技术:监督微调(SFT),人工标注好数据,教模型"正确答案长这样"。
-
数据流 :
R1 - Zero
进入SFT Seeder
接受监督微调 → 变成更懂 "怎么干活" 的Intermediate
。相当于:初级优化版学生 → 做专项练习题 → 变成中级优化版学生。
4. RL alignment(强化学习对齐) RL Aligner → R1
-
是啥 :继续 "优化模型的表现"!可以理解成 "让模型更懂人类需求",调整模型的回答,让它更贴合人类期望(比如更安全、更有用)。
RL Aligner
就是干这个的工具。 -
技术:强化学习 + 人类反馈(RLHF),结合人工审核数据,教模型"这么说才对"。
-
数据流 :
Intermediate
模型进入RL Aligner
,经过这一轮强化学习对齐 → 变成R1
(更成熟的模型版本)。相当于:中级优化版学生 → 再调整学习,变得更符合人类要求 → 变成高级优化版学生。
5. distillation inputs(蒸馏输入) Distiller → Distilled Models
-
蒸馏是啥 :可以理解成 "给模型 '瘦身' 但不减本事"!就像把一大杯浓缩果汁,提炼成一小杯更浓的,模型变小了,但核心能力保留(甚至更精炼)。
Distiller
就是负责 "蒸馏" 的工具。 -
技术:知识蒸馏(把大模型当老师,小模型当学生,学生学老师的本事)。
-
数据流 :
R1
模型作为 "原材料",被Distiller
用蒸馏技术处理 → 输出Distilled Models
(更轻巧、能高效干活的模型)。相当于:高级优化版学生 → 被提炼精华 → 变成 "精简高效版学生"。
二、Hugging Face Hub + GitHub Repo(模型 & 代码 "仓库")
这俩是 **"模型和资料的存储库"**,就像工厂里的 "仓库",存着训练好的模型、代码、说明文档这些东西~
1. Hugging Face Hub
-
是啥:全球很多 AI 开发者在用的 "模型仓库",可以存模型、分享模型。相当于一个 "模型超市",大家能在这拿到训练好的模型。
-
数据流 :前面离线训练好的各种模型(
R1
、Distilled Models
等),会被 "推"(push artifacts)到这里存着;后面需要用模型的地方(比如在线服务),会从这里 "拉"(model pull)模型用。
2. GitHub Repo(GitHub 仓库)
-
是啥:程序员们常用的 "代码 + 文档仓库",存着项目的代码、使用说明、许可证(License)、研究论文这些。相当于一个 "项目说明书大全"。
-
里的小模块:
-
License/LICENSE
:模型能用的 "规则说明书"(比如能不能商用、能不能修改)。 -
Static Assets/figures/
:存图片、图表这些 "辅助资料"(比如架构图可能存在这)。 -
Documentation/README.md
:最核心的 "使用说明书"!教你咋用这个模型、咋部署、有啥功能。 -
Research Papers/DeepSeek_R1.pdf
:模型背后的 "学术论文",讲研发思路、技术细节(大佬们爱看,小白好奇也能瞅两眼)。
-
三、External Services(外部服务) + Clients & UI(用户咋用模型)
这部分是 **"模型咋和外界互动"**,包括模型需要的 "外部资源",以及用户(像咱普通人)咋接触、使用模型~
1. External Services(外部服务)
-
Hugging Face (external):前面说过的 "模型仓库",这里是 "外部版",可以理解成模型训练时,可能需要从这下载一些基础资料、工具。
-
DeepSeek Platform (external API) :
DeepSeek
自己的 "外部接口平台",可以简单想成 "模型和外界沟通的特殊通道",比如训练模型时,需要从这拿数据、或者把训练好的东西存这。
2. Clients & UI(用户咋用模型)
- Web Chat (ui.chat.deepseek.com):最直观的 "用户界面"!就是咱普通人能用的 "网页聊天框",打开网址就能和模型聊天、问问题,像用 ChatGPT 网页版一样。
3. Online Serving(模型在线服务 "流水线")
这部分是 **"模型咋变成能用的 '聊天工具' 给用户用"**,像工厂里 "把仓库的半成品变成商品,送到用户手里"~
(1)DeepSeek API Gateway (platform.deepseek.com)
- 是啥:可以理解成 "模型服务的总大门"!用户(不管是网页聊天、还是其他方式)要用模型,都得经过这个 "大门" 调度。相当于餐厅的 "前台",负责接用户需求,再分配给后面的 "厨师(模型)"。
(2)Model Serving Fleet + vLLM Server
-
Model Serving Fleet:可以想成 "模型服务的 '运输车队'",负责把用户需求 "运" 到能处理的地方。
-
vLLM Server:是个 "高效跑模型的工具"!专门优化模型运行速度,让模型回答又快又稳。
-
数据流 :用户通过
Web Chat
发请求 → 经过DeepSeek API Gateway
→ 交给Model Serving Fleet
→ 调用vLLM Server
里的模型干活。相当于:用户点单 → 前台接单 → 运输队送单 → 高效厨房(vLLM)做菜。
(3)User CLI / SDK + SGLang Server
-
User CLI / SDK:给 "想自己开发、调试模型的人" 用的工具。CLI 是命令行(比如程序员在黑框框里输指令调模型),SDK 是软件开发工具包(给开发者写代码用的 "积木")。
-
SGLang Server:专门处理 "用特殊语言(SGLang)和模型交互" 的工具,让模型能理解更复杂的指令、流程。
-
数据流 :如果是开发者用
User CLI / SDK
发请求 → 经过DeepSeek API Gateway
→ 可能调用SGLang Server
处理(比如复杂指令)→ 再让模型干活。相当于:开发者自己写程序调模型 → 前台接需求 → 特殊语言处理中心(SGLang)翻译 → 模型干活。
四、总结:整个架构的 "数据流" 大流程
可以把整个 DeepSeek - R1 架构想成 **"从训练模型 → 存模型 → 给用户用" 的完整流水线**,数据 / 模型像 "流水" 一样流动:
-
训练流水 :
Base Model
(地基)→ 经过RL Trainer
(教练1)→R1 - Zero
(初级版)→ 经过SFT Seeder
(练习题)→Intermediate
(中级版)→ 经过RL Aligner
(教练2)→R1
(高级版)→ 经过Distiller
(提炼)→Distilled Models
(精简版)。 -
存储流水 :训练好的模型(
R1
、Distilled Models
等)→ 被 "推" 到Hugging Face Hub
(模型仓库)和GitHub Repo
(代码 / 文档仓库)存着。 -
使用流水 :用户(不管是普通网页聊天,还是开发者写代码)→ 发需求到
DeepSeek API Gateway
(总大门)→ 调度Model Serving Fleet
(运输队)→ 调用vLLM Server
或SGLang Server
(高效厨房 / 特殊翻译)→ 从Hugging Face Hub
拉模型干活 → 给用户输出回答!
这样一套流程走完,一个从 "啥也不是的基础模型" 到 "能陪你聊天、干活的 AI" 就诞生啦~ 下次再看这张图,就知道每个模块是 "工厂" 里的哪个环节、数据咋从训练到你聊天框里啦!