TL;DR：扩散语言模型（dLLM）的「扩散机器」到底有多少是必需的？这篇 arXiv 2610.26601 把它全删了------不要时间步、不要噪声调度、不要反向过程，只留「反复跑 BERT 预测掩码位 + 按置信度逐步提交」的傻瓜解码器。结果：冻结 BERT 本来就能迭代还原 61% 的 15% 掩码文本；普通 MLM 微调后，QQP 释义生成 ROUGE-L 0.583，跟显式扩散训练的 DiffusionBERT 已发表值 0.585 同档。注意边界：结论只在条件生成 + BERT 级小模型上成立。
想看原文？
- 📄 论文：arXiv 2610.26601
一个反直觉的提问：BERT 预训练时到底在练什么？
扩散模型这两年在文本上杀疯了：Mercury 扩散大模型喊出每秒上千 token，各家 dLLM 层出不穷。训练它们的标配是一整套「扩散机器」------前向加噪过程、反向去噪参数化、时间步嵌入、可学习噪声调度。
但停下来想一秒：BERT 当年预训练在干嘛？把被mask掉的词还原出来。这不就是去噪吗？掩码就是噪声，还原就是去噪。
那问题就来了：既然 BERT 预训练天然就是个去噪器，把它变成迭代生成器，真的需要再学一整套扩散机器吗？这篇论文的做法简单粗暴：全删掉，只留一个最简解码器，看还剩多少生成能力。
解码器有多简单？三句话讲完
- 每一轮：把所有还掩着的位置一起喂给 BERT，每个位置取预测 token 和它的置信度；
- 按一条外置的余弦调度，只提交置信度最高的那批位置（先少提交，上下文多了再加速）；
- 提交的 token 永不反悔，其余位置带着新上下文继续猜，直到填满。
没了。没有扩散时间步，没有噪声调度，没有任何生成式训练目标。选择题任务跑 4 轮，开放式生成跑 8 轮，全文重建跑 16 轮，解码全程贪心（零温）。这个设计的价值在于把生成拆成了三个可分离的成分：预训练供给表示和去噪算子，任务微调决定生成什么，提交调度供给怎么生成------以前这些全捆在扩散训练里，现在可以逐个拆开测。
实验结果：能力在，但没你想的那么神
冻结 BERT：半个生成器
对自然文本做掩码重建（16 轮迭代解码），冻结不动的 BERT-base 成绩是：15% 掩码还原 61.0%（MAUVE 0.899，分布质量接近真实文本）；45% 掩码降到 37.5%；60% 掩码只剩 24.4%；掩到 90% 以上直接坍缩成复读机。置信度提交比从左到右、随机提交都强（37.5% 对 34.4%/33.6%）。
一句话：去噪能力是真的，但它强依赖可见上下文------上下文全没了它就抓瞎。所以「把 BERT 全掩了让它凭空生成」这条路不通。
任务生成：差的是接口，不是去噪
那用它做选择题呢？冻结 BERT 在 ARC-Easy 上准确率 11.0%、MMLU 上 4.2%，而且 71%~81% 的输出根本没法匹配到任何选项------生成的不是答案，是梦话。
然后是全文最有意思的转折：不做任何扩散训练，就用最普通的 MLM 目标微调答案区域，10 万训练例------
- 只调偏置的 BitFit：ARC-Easy 25.2%，未匹配率从 71.4% 砍到 12.8%；
- 全量微调：ARC-Easy 28.2%、MMLU 24.6%；
- 开放式生成 QQP：ROUGE-L 0.583、BERTScore 0.903------DiffusionBERT 的已发表值是 0.585，同档（论文反复强调这是文献对照、非受控比较）。
差的从来不是去噪机器，是「把任务答案塞进掩码区域」这个接口的对齐。
换骨干：表示质量决定上限
同一套解码器换骨干重跑（全量微调，ARC-Easy）：BERT-base 28.2%、BERT-large 30.4%、RoBERTa-large 44.2%；MMLU 上 RoBERTa-large 33.8%。BERT-large 和 RoBERTa-large 参数量相当，差距全在预训练表示质量------生成器的上限是骨干给的，不是解码器给的。还有个接口重要性的极端案例：RACE 适配过的 RoBERTa 骨干外接原 MLM 头，冻结生成准确率 0.4%，全量适配后回升到 41.8%------骨干和读出头不配套，表示再好也白搭。
这论文没说的是什么？
- ⚠️ 结论有严格边界：所有证据都在条件生成 + BERT 级小模型 + 500 例子集上。无条件生成、采样多样性、长文本一致性这些扩散模型的强项，本文完全没碰------标题的「Already a Denoiser」要带着论文自己的限定语引用。
- ⚠️ 「便宜」没被量化：跟 DiffusionBERT 的对比是文献值，没有对齐算力和数据的成本核算，「cheaply」更多是定性判断。
- ⚠️ 永不反悔的解码：提交即锁定的设计放弃了中途纠错，长生成里可能是硬伤，未测。
和你有什么关系？
如果你手里有垂直领域的预训练编码器（医疗、法律、金融语料训的 BERT 系），这篇给了一条不重训生成骨干的路线：原版 MLM 目标微调 + 置信度迭代解码，先 BitFit 试水再全量，成本远低于从零训一个领域扩散模型。而如果你在做 dLLM 相关的工作，这篇提供了一个干净的消融基线------下次论证「扩散训练带来增益」时，得先赢过这个「啥扩散都没有」的基线。