当前大模型领域已形成 "主干向 Transformer 收敛、细节按模态定制" 的整体格局：文本大模型是纯 Transformer 架构的原生应用，图像、语音、视频则基于自身数据特性（空间结构、时序关联、维度高低）对 Transformer 做针对性改造，配套差异化的训练范式、分布式工程方案与算力成本模型。
结合 2026 年最新行业技术进展与云算力市场均价（H100 算力卡约 1.2 万元 / 卡 / 月，显存成本约 2 元 / GB / 天），下文从核心架构、训练范式、分布式训练框架、算力与成本四个维度，系统梳理文本、图像、语音、视频四大模态的完整训练体系。
一、文本大模型：Transformer 原生范式，训练体系最成熟
文本是离散序列数据，与 Transformer 的 token 建模范式天然契合，是所有模态中训练方案最标准化、规模化能力最强的基准模态。
1. 核心骨干架构
以纯 Transformer 解码器为绝对主流（GPT、Llama 系列），仅少数理解类模型采用编码器架构（BERT）。核心是通过自注意力机制建模 token 间的全局语义依赖，配合因果掩码实现自回归生成。
- 优势：结构极简、缩放性极强，完美适配 Scaling Law，参数量可从亿级平滑扩展到万亿级。
- 局限：对局部模式的捕捉效率低于卷积算子，但文本离散特性使得该缺陷影响极小。
2. 典型训练范式
采用两阶段 / 三阶段标准流程：
- 大规模无监督预训练：在万亿级文本 token 上进行自回归语言建模，学习通用语言知识。
- 监督指令微调：用百万级指令数据微调，让模型学会遵循人类指令。
- 对齐训练：通过 RLHF/DPO 等方法，让模型输出符合人类偏好与安全规范。
3. 训练框架与分布式优化
- 主流训练栈：大规模预训练以 Megatron-LM / Megatron-DeepSpeed 为工业标准，中小规模训练与微调常用 DeepSpeed + HuggingFace Transformers。
- 专属优化：词表并行拆分 Embedding 层、原生适配 FlashAttention、因果掩码高效实现，可最大化训练吞吐量。
- 标准并行配置：3D 并行（数据并行 + 张量并行 + 流水线并行）为标配，长文本场景补充序列并行。
4. 算力需求与成本测算
根据通用算力公式：训练总算力（PFLOPS・天）= 6 × 参数量 × 训练 Token 数
以主流开源模型为例：
- 7B 参数模型，训练 2 万亿 token，总算力约 84 PFLOPS・天，32 卡 H100 训练约 1-2 周，直接成本约 50-100 万元。
- 70B 参数模型，训练 2 万亿 token，总算力约 840 PFLOPS・天，128 卡 H100 训练约 1-2 个月，直接成本约 500-1000 万元。
文本是所有模态中单位参数算力成本最低的模态，头部视频大模型的单位算力成本可达文本的 50 倍以上。
二、图像大模型：CNN 与 Transformer 双路线，生成式向 DiT 演进
图像是二维空间连续信号，局部相关性强、长距离依赖弱，训练体系分为理解判别与内容生成两大技术路线，产业化成熟度仅次于文本。
1. 核心骨干架构
（1）理解类模型：从 CNN 主导到 ViT 全面普及
- 传统 CNN 骨干：ResNet、EfficientNet、ConvNeXt，依靠卷积核的参数共享与局部感受野提取分层视觉特征，部署友好，仍广泛用于端侧检测、分类任务。
- ViT（视觉 Transformer）：将图像切分为固定 Patch（如 16×16 像素），转化为视觉 token 序列后输入 Transformer 编码器，全局建模能力强，是多模态大模型视觉编码器的标配。
- 高效变体：Swin Transformer 通过分层下采样 + 移动窗口注意力，将计算复杂度从平方级降为线性级，是检测、分割等密集预测任务的主流骨干。
（2）生成类模型：从 U-Net 扩散到 DiT 架构升级
- 早期主流：U-Net（CNN 编码器 - 解码器 + 跳跃连接），是 Stable Diffusion 1.x/2.x 的去噪骨干，局部特征建模能力强，训练成本低，但全局一致性弱。
- 当前新一代主流：DiT（扩散 Transformer），将扩散去噪骨干完全替换为 Transformer，以 Patch 序列建模全局像素依赖，大幅提升语义一致性与细节真实度，是 Stable Diffusion 3、DALL・E 3 等顶尖模型的核心架构。
2. 典型训练范式
- 理解类：主流采用图文对比学习（CLIP 范式），在亿级图文对上联合训练双编码器，学习通用视觉语义表征，可零样本迁移到分类、检索等任务；也可通过 MAE 等掩码图像建模做自监督预训练。
- 生成类：采用扩散预训练 + 条件控制微调流程：先在大规模无标注图像上预训练去噪能力，再通过图文对数据学习文本 - 视觉对齐；垂类场景普遍使用 LoRA 低秩微调，快速适配特定风格与物体。
3. 训练框架与分布式优化
- 主流训练栈：理解类常用 DeepSpeed + MM 系列 / HuggingFace Transformers；生成类扩散模型以 Diffusers + DeepSpeed 为主，工业级 DiT 大模型基于 Megatron-LM 定制开发。
- 专属优化手段：
- 潜在空间训练：通过 VAE 将原始像素压缩 8-16 倍，大幅降低序列长度与激活显存，是扩散模型标配。
- 数据增强流水线 GPU 化：将裁剪、翻转、混合等预处理迁移到 GPU 执行，消除 CPU 瓶颈。
- 注意力切片与分片 VAE：高分辨率场景下分批执行注意力、拆分 VAE 计算，以速度换显存。
4. 算力需求与成本测算（2026 年）
|---------|----------|------------------|-----------------|------------|--------|--------------|------------------|
| 模型类型 | 参数规模 | 训练数据量 | 总算力需求（PFLOPS・天） | 所需 H100 卡数 | 训练周期 | 直接训练成本 | 适用场景 |
| 轻量理解类模型 | 1B-5B | 千万级图像（~100T 像素） | 10-50 | 8-16 卡 | 1-2 周 | 20-100 万元 | 端侧图像识别、行业质检 |
| 通用理解类模型 | 10B-20B | 亿级图像（~1P 像素） | 100-300 | 32-64 卡 | 2-4 周 | 200-800 万元 | 通用图文理解、多模态基座 |
| 轻量生成类模型 | 5B-10B | 千万级图文对 + 风格数据 | 50-200 | 16-32 卡 | 1-3 周 | 100-500 万元 | 垂类风格生成、垂直场景 AIGC |
| 通用生成类模型 | 20B-100B | 数十亿级图文对（含高清图） | 500-2000 | 64-128 卡 | 1-2 个月 | 1000-5000 万元 | 通用文生图、商业级图像生成 |
关键成本细节：
- 理解类模型成本更低：CLIP 架构可复用预训练文本编码器，仅训练视觉部分，算力需求比同参数生成类模型低 30%-50%。
- 微调成本极低：10B 参数图像模型的垂类 LoRA 微调仅需 4-8 张 A100 卡，成本控制在 10 万元以内，仅为全量微调的 5%。
- 端侧迁移加速：1B 参数以内的视觉模型经量化压缩后可在手机、边缘设备运行，推理成本下降 90% 以上。
三、语音大模型：卷积 - Transformer 混合架构，成本最低落地最快
语音是一维时序连续信号，短时声学模式稳定、长时存在语义依赖，训练以 Conformer 混合架构为主，是所有模态中训练成本最低、端侧普及最快的品类。
1. 核心骨干架构
（1）工业级主流：Conformer（卷积增强 Transformer）
当前语音识别、语音预训练的首选骨干，核心设计是 "卷积捕捉局部声学特征，Transformer 建模全局语义依赖"：
- 每个 Conformer 块采用 "前馈网络→自注意力→一维深度可分离卷积→前馈网络" 的三明治结构，兼顾局部细节与全局上下文。
- 前端配置卷积下采样层，将梅尔频谱序列长度压缩 4 倍，大幅降低注意力计算成本。
- 优势：同等参数量下精度显著优于纯 Transformer，是工业级语音系统的标准架构。
（2）端到端语音大模型架构
新一代语音大模型向 "统一序列建模" 演进：
- 语音分词器（Audio Tokenizer）：通过 VQ-VAE 等量化器将连续音频转换为离散语音 token，把语音问题转化为 LLM 擅长的序列建模。
- 统一 Transformer 主干：将语音 token 与文本 token 统一输入 Transformer，实现 "语音输入 - 语音输出" 的端到端建模，无需拆分 ASR 与 TTS 模块。
2. 典型训练范式
主流采用三阶段训练流程：
- 自监督预训练：在百万小时级无标注语音上，通过掩码预测、对比学习训练语音编码器（如 wav2vec 2.0、HuBERT），学习通用声学特征。
- 跨模态对齐：用数十万小时语音 - 文本平行数据，将语音表征映射到文本语义空间，实现语音识别与语义理解。
- 指令微调：用语音指令数据集微调，适配对话、翻译、情感合成等下游任务；生成场景额外做音色适配微调。
3. 训练框架与分布式优化
- 主流训练栈：工业级首选 NeMo + Megatron/DeepSpeed，中文场景常用 FunASR，学术研究多用 ESPnet、SpeechBrain。
- 专属优化手段：
- 分桶批处理（Bucketing）：将时长相近的语音归入同一 batch，减少 padding 浪费，是语音训练的核心优化。
- 前端特征提取 GPU 化：将梅尔频谱、Fbank 计算全部迁移到 GPU 批量处理，解决 CPU 预处理瓶颈。
- 卷积算子融合：将深度可分离卷积、归一化、激活函数融合为单算子，减少显存读写开销。
- 数值稳定性优化：混合精度训练优先采用 BF16，配合动态损失缩放避免半精度溢出。
4. 算力需求与成本测算（2026 年）
|-------------|---------|----------------------|-----------------|------------|--------|-------------|-------------------|
| 模型类型 | 参数规模 | 训练数据量 | 总算力需求（PFLOPS・天） | 所需 H100 卡数 | 训练周期 | 直接训练成本 | 适用场景 |
| 端侧语音模型 | 1B 以内 | 1 万 - 10 万小时语音数据 | 5-20 | 4-8 卡 | 1-2 周 | 10-50 万元 | 手机语音助手、IoT 设备语音交互 |
| 通用识别 / 合成模型 | 1B-10B | 100 万 - 1000 万小时语音数据 | 50-200 | 16-32 卡 | 2-4 周 | 100-500 万元 | 通用 ASR、TTS、语音翻译 |
| 端到端语音大模型 | 10B-50B | 数千万小时语音 + 文本平行数据 | 300-1000 | 32-64 卡 | 1-2 个月 | 500-2000 万元 | 端到端语音对话、情感语音交互 |
关键成本细节：
- 数据成本优势显著：自监督预训练可使用无标注语音，仅对齐阶段需标注数据，数据成本比文本 / 图像低 60% 以上。
- 微调成本万元级：方言识别、特定音色合成等场景微调，仅需几十到几百小时数据，LoRA 微调成本可控制在万元级别。
- 架构成本差异：传统 ASR+LLM+TTS 级联架构开发成本仅为端到端模型的 1/5，但延迟高、信息丢失多；端到端架构体验更优，是当前主流演进方向。
四、视频大模型：时空联合建模，算力成本最高
视频是 "空间 + 时间" 的三维高维信号，1 分钟 1080P 视频数据量相当于 1800 张图像，需同时建模空间视觉特征与时序运动一致性，是技术难度与投入门槛最高的模态。
1. 核心骨干架构
（1）理解类模型：时空 Transformer + LLM 调度
主流有两种技术路线：
- 时空 Transformer：在 ViT 基础上扩展时间维度，通过时空分解注意力（空间注意力建模单帧内容、时间注意力建模帧间运动）提取视频特征，代表为 Video Swin Transformer、TimeSformer。
- LLM 调度架构：通过视觉编码器逐帧提取特征，加入时序 Embedding 后压缩为统一视频表征，接入大语言模型作为调度中枢，支持视频问答、内容总结等任务，代表为 VideoChat、Valley。
（2）生成类模型：时空扩散 Transformer（时空 DiT）
是 Sora、Wan 2.x 等顶尖视频生成模型的统一核心架构，为 DiT 的 3D 时空扩展：
- 先通过视频 VAE 将原始视频压缩到时空潜在空间，再将潜在特征切分为 3D 时空 Patch，用 Transformer 建模全局时空依赖，完成扩散去噪。
- 关键设计：时空分离的 RoPE 位置编码、时空分解注意力、因果注意力（自回归生成时仅关注历史帧），兼顾画质细节与运动连贯性。
2. 典型训练范式
普遍采用多阶段联合训练，复用图像能力降低成本：
- 单帧预训练阶段：复用图像大模型预训练权重，学习通用空间视觉特征，大幅减少视频数据需求。
- 时空联合预训练：在数百万小时无标注视频上，通过掩码帧预测、对比学习训练时序模块，学习运动规律与时序关联。
- 多模态对齐阶段：用文本 - 视频平行数据训练对齐模块，实现文本到视频的生成与检索。
- 下游任务微调：针对影视生成、数字人、安防等垂类场景，用领域数据微调提升效果。
3. 训练框架与分布式优化
- 主流训练栈：开源方案以 OpenSora / Wan 开源实现 + DeepSpeed 为主，工业级大模型基于 Megatron-LM 定制时空 DiT 分布式框架；国内常用 TeleTron、腾讯 HunyuanVideo 等专用训练框架。
- 专属优化手段：
- 时空潜在空间压缩：视频 VAE 同时压缩空间（8 倍）与时间（4-8 倍）维度，将原始序列长度降低数十倍，是视频生成的基础前提。
- 时空分解并行：空间维度做张量并行，时间维度做序列并行，双维度分摊显存压力。
- 帧级流水线并行：超长视频训练按时间分段分配到不同流水线阶段，进一步降低单卡序列长度。
- 全量激活重计算：几乎所有层开启梯度检查点，以计算换显存。
4. 算力需求与成本测算（2026 年）
（1）视频理解类模型
|--------|---------|---------------|-----------------|------------|--------|--------------|-------------------|
| 模型类型 | 参数规模 | 训练数据量 | 总算力需求（PFLOPS・天） | 所需 H100 卡数 | 训练周期 | 直接训练成本 | 适用场景 |
| 轻量理解模型 | 5B-10B | 百万小时短视频 | 200-500 | 32-64 卡 | 2-4 周 | 500-1500 万元 | 视频分类、内容审核、短视频标签生成 |
| 通用理解模型 | 10B-50B | 千万小时视频 + 文本标注 | 1000-3000 | 64-128 卡 | 1-2 个月 | 2000-8000 万元 | 视频问答、长视频内容总结、时序推理 |
（2）视频生成类模型
|----------------|-----------|-----------------|-----------------|------------|--------|---------------|--------------------|
| 模型类型 | 参数规模 | 训练数据量 | 总算力需求（PFLOPS・天） | 所需 H100 卡数 | 训练周期 | 直接训练成本 | 适用场景 |
| 短生成模型（<30 秒） | 10B-30B | 百万小时高清短视频 | 2000-5000 | 128-256 卡 | 1-2 个月 | 5000 万 - 2 亿元 | 短视频生成、营销视频制作 |
| 长生成模型（<10 分钟） | 30B-100B+ | 千万小时高清视频 + 影视素材 | 10000-50000 | 256-512 卡 | 3-6 个月 | 2 亿 - 10 亿元 | 长视频生成、AI 短剧、影视内容制作 |
关键成本细节：
- 算力为核心支出：头部通用视频生成模型需数千张 H100 级算力卡，硬件投入超 10 亿元，单位算力成本是文本大模型的 50 倍以上。
- 数据成本持续上升：高清版权视频采购成本超 1000 元 / 小时，通用视频大模型仅数据采购成本就过亿元，且随版权保护趋严持续上涨。
- 成本快速下降：2026 年时空注意力优化、图像 - 视频联合训练等技术普及后，训练成本相比 2025 年已下降 50%，预计未来 3 年仍有 80% 下降空间。
五、全模态通用训练技术与成本优化体系
1. 通用分布式训练基础设施
所有模态大模型的全量训练均以3D 并行为标准配置，结合模态特性调整各维度比例：
- 数据并行：所有模态标配，大规模训练结合 ZeRO 技术做显存分片。
- 张量并行：单节点内拆分 Transformer 层权重，适合高参数模型。
- 流水线并行：按层拆分模型到多卡，跨节点扩展超深层模型时使用。
- 序列并行：长序列场景补充，沿序列长度维度拆分，分摊激活显存，长文本、长语音、长视频训练必备。
主流通用分布式框架：DeepSpeed（易上手，全场景通用）、Megatron-LM（性能极致，大规模预训练首选）、Colossal-AI（多硬件适配，国内应用广泛）。
2. 全模态通用显存优化技术栈
|---------|-----------------------|--------------------------------|----------------------|
| 优化层级 | 技术方案 | 优化效果 | 适用场景 |
| 参数与优化器侧 | 混合精度训练（BF16/FP16） | 降低 30%-50% 显存，提升训练速度 | 所有场景标配 |
| 参数与优化器侧 | ZeRO 显存分片（ZeRO-1/2/3） | ZeRO-3 可降低数倍显存，单卡承载更大模型 | 大模型全量训练 |
| 参数与优化器侧 | 8 位优化器、4 位量化训练 | 进一步降低优化器与参数显存 | 微调、低资源场景 |
| 激活计算侧 | 激活重计算（梯度检查点） | 降低 50%-70% 激活显存，增加 20%-30% 计算量 | 所有大模型标配 |
| 激活计算侧 | FlashAttention 系列 | 降低 3-5 倍注意力显存，提升 2-4 倍速度 | 所有 Transformer 系模型标配 |
| 系统兜底 | 显存卸载（CPU / 硬盘） | 极端降低显存，训练速度大幅下降 | 显存严重不足的兜底场景 |
| 系统兜底 | 梯度累积 | 等效实现大 batch 训练，降低单卡 batch 压力 | 小集群模拟大 batch |
3. 2026 年核心成本优化方向
- 优先采用参数高效训练：LoRA、QLoRA 等微调技术可将垂类适配成本降低 90% 以上，绝大多数场景无需从零训练大模型，基于开源基座微调即可满足需求。
- 合理选择参数规模：不盲目追求大参数，10B 参数模型经针对性微调后，垂类效果可接近甚至超过 100B 通用模型，训练与推理成本仅为 1/10。
- 采用混合算力方案：国产昇腾 910B 芯片训练性价比已超过 A100，成本仅为后者的 60%，非极致性能场景使用国产算力可大幅降低整体投入。
整体总结与趋势
四大模态大模型呈现出清晰的 "收敛与分化" 规律：
- 底层收敛：所有模态最终都向 Transformer 主干架构统一，通过 Patch 化、Token 化将不同形态的信号转化为标准序列输入，这是多模态大模型实现跨模态理解与生成的核心基础。
- 上层分化：各模态根据自身数据物理特性，保留卷积、下采样等高效算子，对注意力机制、位置编码、并行策略做定制化改造，形成差异化的训练体系与成本模型。
- 成本阶梯 ：算力与投入门槛呈现视频 > 图像 > 语音 > 文本的阶梯分布，2026 年单位算力成本虽大幅下降，但模态间的量级差距仍十分显著。
行业终极演进方向是打造统一多模态大模型，用同一个 Transformer 主干处理所有模态的输入输出，向通用人工智能持续演进。