ERNIE-5.5-Flash-Base 开源速览：280B-A14B MoE 基座，微调与推理支持 1M 上下文

2026 年 11 月 5 日，百度在魔搭社区与 Hugging Face 开放了 ERNIE-5.5-Flash-Base 权重。这是一个纯文本、完成预训练的稀疏 MoE 基座：总参数 280B、每 token 激活 14B，从零训练 33.5T tokens，训练上下文最高 128K，微调与推理支持 1M。它是领域适配、指令微调和强化学习研究的起点，本文用较短篇幅梳理规格、架构亮点、评测口径与部署方式。

文章目录

[ERNIE-5.5-Flash-Base 开源速览：280B-A14B MoE 基座，微调与推理支持 1M 上下文](#ERNIE-5.5-Flash-Base 开源速览：280B-A14B MoE 基座，微调与推理支持 1M 上下文)
- 一、模型速览
- [二、它是什么：Base，不是 Chat](#二、它是什么：Base，不是 Chat)
- 三、架构：把「省」写进每个组件
- 四、数据与训练系统：补「后训练补不回来」的能力
- [五、评测：官方统一流程下的 Base 对比](#五、评测：官方统一流程下的 Base 对比)
- 六、上手：部署与最小调用
- - [6.1 Transformers（最快验证，用 BF16 版）](#6.1 Transformers（最快验证，用 BF16 版）)
  - [6.2 SGLang / vLLM（生产服务）](#6.2 SGLang / vLLM（生产服务）)
- 七、其他
- 八、小结

一、模型速览

项目	内容
模型名称	ERNIE-5.5-Flash-Base
发布方	百度（Baidu ERNIE Team）
发布时间	2026-11-05（官方技术博客 Product updates）
下载地址	魔搭 `baidu/ERNIE-5.5-Flash-Base`、Hugging Face 同名仓库
模型类型	text-generation，纯文本模态
训练阶段	预训练末端 checkpoint，未经中期训练 / 后训练
总参数 / 激活参数	280B / 每 token 14B
层数 / hidden	43 层（1 个 dense FFN + 42 个 MoE）/ 4096，64 个注意力头
注意力	37 × HCA（head dim 512）+ 6 × MLA-DSA（head dim 256）
专家	512 个路由专家（top-10）+ 1 个共享专家，latent dim 2048
词表	201,216（约 200K BPE，数字按右到左每 3 位分组）
预训练	33.5T tokens，Muon 优化器，FP8 混合精度
上下文长度	训练最高 131,072；微调与推理 1,048,576（1M），发布配置已开启
权重精度	FP8（本页面仓库）与 BF16（`ERNIE-5.5-Flash-Base-BF16`）两个版本
权重体积	FP8 版约 288 GB、128 个 safetensors 分片（按魔搭页面文件列表统计，官方 README 未直接给出）
许可证	ERNIE 5.5 Flash Base Model License Agreement v1.0（自定义许可，非 Apache / MIT）

两个容易混淆的口径：总参数包含输入 embedding 与输出 head；激活参数计输出 head、不计 embedding lookup；两者都不含额外的 ECHO 参数（0.36B）。

二、它是什么：Base，不是 Chat

官方把权重停在预训练结束、任何中期训练与后训练之前这一刻，理由写得很直白：不同领域、推理任务和 Agent 应用需要不同的数据、训练目标与行为策略，与其替开发者决定，不如交出一个干净的起点。

由此有三个直接后果：

定位：适合领域适配、指令微调、强化学习研究，也适合作为「控制变量」比较不同训练方法。
调用方式 ：官方示例通过 completions 端点提供服务；用 Transformers 时要保留 add_special_tokens=True（模型要求输入开头有 BOS）。
模态：纯文本，不支持图像、语音输入。

官方也明确预告：后训练版 ERNIE 5.5 Flash 会另行发布。想直接当助手用的，可以等那个版本。

三、架构：把「省」写进每个组件

1. 280B-A14B 混合注意力 MoE。 43 层中除第 1 层是 dense FFN，其余 42 层都是 MoE；每层 512 个路由专家取 top-10，外加 1 个共享专家。总参数很大，但每个 token 只激活 14B。

2. HCA + MLA 混合注意力。 约每 7 层里只有 1 层用 MLA 保留逐 token 的全上下文访问，其余 37 层用 HCA------把每 128 个 token 压成一条缓存，再对全部压缩条目加近期未压缩窗口做注意力。头维度也分层配：便宜的 HCA 层用 512 维宽头，贵的 MLA 层用 256 维窄头。MLA 层再加 DSA 稀疏注意力，让核心注意力的每 query 成本不再随上下文长度增长。官方在预训练对比中称，相近 KV-cache 预算下 HCA+MLA 优于 HCA+CSA。

3. Multi-Router Latent MoE。 单个 router 的打分与专家真实效用相关性偏弱，且落选专家拿不到梯度、错误选择会自我强化。改用多个独立初始化的 sigmoid router 联合打分后，选择不再由某一个 router 的误差决定，而激活专家数、专家 FLOPs、通信量都不变。专家跑在 2048 维隐空间（hidden 的一半），dispatch/combine 流量约减半；配合无辅助损失的负载均衡、up-projection 前的 RMSNorm、SiTU-GLU 以及每个专家自带的可学习标量稳定训练。

4. ECHO 替代独立 MTP 模块。 传统多 token 预测要外挂 MTP 层，未来 token 的 loss 主要训的是那个外挂模块。ECHO 直接复用骨干最后一层预测未来 token，让多步损失落到真正产出 next-token 的参数上；同一层还能当投机解码的 draft model。官方用单步 ECHO 预训练，并称其可泛化到多步 draft、接受率高于同法训练的辅助 MTP。

5. 其他组件。 低秩门控注意力（从 4× 更窄的 query latent 计算 gate，gate 投影权重减少 75%）+ VHA 跨头低秩混合；mHC 用 4 条并行残差流加约束混合矩阵替代标准残差；MultiMax 输出头用可学习分段温度压低长尾；约 200K BPE 词表把数字按右到左每 3 位分组，便于算术。相关方法有单独论文：VHA（arXiv:2610.17959）、Multi-Router（arXiv:2610.40577）、ECHO（arXiv:2610.24766）。

四、数据与训练系统：补「后训练补不回来」的能力

预训练语料侧重点很明确：

Web：大规模多语言爬取、高保真抽取、模型驱动的多维质量过滤；
Code：仓库级与网页代码，去非代码、召回导向去重、多粒度质量分级；另含软件演化与执行落地数据------commits、issues、PR、code review、需求→PR、多 commit 轨迹、生成测试、CI 验证修复，面向仓库级推理与 Agent 软件工程；
长上下文：自然长文档、拼接语义相似干扰项构造的长序列、合成的 MRCR 式检索 / 引用落地 QA / 多跳 QA。

训练侧配套两项：通信高效的分布式 Muon （dense 与 MoE 参数同步合并为一次跨节点同 rank 集合通信，降低千卡规模的延迟与抖动，且不改变优化器语义）加内存均衡的 optimizer sharding；以及 FlashMask-4（CuTe-DSL 注意力核，支持 SM90 / SM100，qk / v head dim 最高 576 / 512；官方称 SM100 上相对 FlashAttention-4 MaskMod 前向最高提速 175%、反向 74%）。

五、评测：官方统一流程下的 Base 对比

官方选取同期规模相近的开源 Base 模型，四个对象都用公开 checkpoint、同一套评测框架 / prompt / few-shot 与同一个 LLM judge------DeepSeek-V4-Flash-Base（284B-A13B）、Hy3-preview-Base（295B-A21B）、MiMo-V2.5-Base（310B-A15B）。下面是从官方表里挑出的代表性项目：

类别	基准（指标，few-shot）	ERNIE	DeepSeek-V4	Hy3	MiMo-V2.5
知识	MMLU (EM, 5)	93.3	89.4	87.5	87.6
知识	MMLU-Pro (EM, 5)	78.4	69.2	66.9	65.7
知识	CMMLU (EM, 5)	90.0	89.7	89.3	87.7
STEM	GPQA (EM, 5)	60.2	55.9	50.2	51.4
推理	BBH (EM, direct, 3)	77.1	69.0	67.5	68.0
代码	HumanEval+ (Pass@1, 1)	82.3	69.5	78.0	74.4
代码	MBPP+ (Pass@1, 0)	81.5	67.2	78.3	74.3
代码	LiveCodeBench (Pass@1, 1)	40.1	31.9	33.5	32.4
长上下文	HELMET-RAG (SubEM, 2)	71.5	68.9	67.2	69.0
长上下文	RepoQA (Pass@1, 0)	91.7	81.0	91.3	56.5
长上下文	LongBench-v2 (EM, 0)	48.7	44.5	39.8	44.6

也有未取得该行最高分的项目，转述时别只挑好看的（括号内为该行最高分及所属模型）：ChineseSimpleQA 73.0（DeepSeek 75.3）、BBH CoT 89.2（Hy3 90.0）、INCLUDE-lite 79.5（DeepSeek 79.8）、FullStackBench 54.6（Hy3 56.7）、HELMET-Rerank 56.2（DeepSeek 60.0）、InfiniteBench 46.5（DeepSeek 48.0）。

三点提醒：①这是官方在统一流程下自行评测 的结果，对照模型的分数也由官方跑出，官方未报告第三方复现结果；②所有对象都是 Base 模型，分数不代表对话助手的实际体验；③官方特别提到，尽管 43 层里 37 层把序列压缩了 128×，仅 6 层 MLA-DSA 仍支撑住了 6 个长上下文基准。

六、上手：部署与最小调用

6.1 Transformers（最快验证，用 BF16 版）

python 复制代码

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "baidu/ERNIE-5.5-Flash-Base-BF16"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name, torch_dtype=torch.bfloat16, device_map="auto"
)
model_inputs = tokenizer(
    ["The hybrid attention architecture of ERNIE 5.5 Flash"],
    add_special_tokens=True, return_tensors="pt",
).to(model.device)
print(tokenizer.decode(
    model.generate(**model_inputs, max_new_tokens=256)[0],
    skip_special_tokens=True,
))

6.2 SGLang / vLLM（生产服务）

bash 复制代码

# SGLang：官方预构建镜像
docker run -d -it --name ernie55 \
  --gpus all --network host --ipc host \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  lmsysorg/sglang:dev-ernie-55-flash

sglang serve \
  --model-path baidu/ERNIE-5.5-Flash-Base \
  --tp 4 --attn-dp-size 4 \
  --context-length 131072 \
  --max-running-requests 1024 \
  --host 0.0.0.0 --port 30000

bash 复制代码

# vLLM：需额外安装 ERNIE 插件
uv venv --python 3.12 ernie5-venv
source ernie5-venv/bin/activate
uv pip install vllm==0.32.0
uv pip install git+https://github.com/baidu/vLLM-ERNIE.git

vllm serve baidu/ERNIE-5.5-Flash-Base \
  --kv-cache-dtype fp8 \
  --enable-expert-parallel \
  --data-parallel-size 4 \
  --max-model-len 131072 \
  --port 30000 \
  --moe-backend humming

两个服务的示例都用 131072，但官方说明两者都可开到 1,048,576 tokens 做长上下文推理。因为是 Base 模型，请求走 completions 端点：

bash 复制代码

curl http://localhost:30000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "baidu/ERNIE-5.5-Flash-Base",
    "prompt": "Large language models are",
    "max_tokens": 256,
    "temperature": 0
  }'

硬件门槛别忽略：FP8 权重约 288 GB、128 个分片（按魔搭页面文件列表统计），官方示例用的是 --tp 4 / --data-parallel-size 4 的多卡配置，这个体量显然超出单张消费级显卡的显存。

七、其他

280B ≠ 下载体积，也 ≠ 单次计算量。280B 是总参数，14B 是每 token 激活；激活口径含输出 head、不含 embedding lookup，额外的 ECHO 0.36B 另计。
128K 与 1M 不是一回事。131,072 是预训练阶段的最大上下文；1,048,576 是微调与推理支持的长度（发布配置已开启），不要写成「用 1M 上下文预训练」。
许可证是自定义的 。模型卡标为 other，实际是 ERNIE 5.5 Flash Base Model License Agreement v1.0，© 2026 Baidu。它不是 Apache-2.0 / MIT，商用前请读 LICENSE 条款。
它是 Base，不是助手。官方原文是「未经任何中期训练与后训练」，因此也没有指令微调、对齐等后续步骤；官方已预告后训练版后续发布。评测分数同样是 Base 模型在统一流程下的自测，不是助手排行榜。

八、小结

ERNIE-5.5-Flash-Base 的核心不是「又一个更大的模型」，而是把效率约束前置到架构设计里：稀疏 MoE 控激活参数、HCA+MLA 控 KV cache 与长上下文成本、Latent MoE 控通信、ECHO 让多步预测的训练信号回到骨干本身。对想省掉大规模预训练、自己做领域适配 / 指令微调 / RL 的团队，这是一个比较干净的起点。