Tied-Depth Language Models: Depth Scaling, Free Early Exit, and a Fundamental Trade-off
草稿 v2 | 2026-09-29 | 基于 DEQ-LM v1→v11 十一个版本、7.27M/23M 两个规模、约 18 小时 GPU 实验
摘要
权重绑定迭代块（同一 Transformer 块反复应用 k 次）承诺"测试时深度缩放"与"按输入自适应计算"。我们在 23M 语言模型上系统验证了这些承诺，得到一个此前未被报道的基本权衡：
单深度训练 使模型呈现强深度缩放（k=1→30: NLL 6.27→4.36），但任何置信度早退都灾难性失败（中间深度"自信但错误"）；
多深度监督 使早退完全免费（k=1 退出仅损 0.04 NLL），但深度缩放消失（k=1 即达近最优）。
两者不可兼得，且该定律跨规模（7M→23M）成立。
进一步：(a) 等参数 2×2 对照（{绑定,纯堆}×{全反传,phantom}）给出干净的因果分解------绑定架构三连胜 （PT 与 SFT 的全部三项指标均小幅优于纯堆层，推翻 ALBERT"共享=负债"在本设定的适用），而 1 步 Phantom 反向在短视界（1000 步）看似无损、长视界（39,695 步）欠拟合 +1.36 NLL ，尽管它省 46% 显存；(b) 我们发现既有 30M 基准的后缀评测位置 61.6% 是 padding------按真实 token 重排后，冠军模型（NLL 2.78）实际垫底（7.17），而被判"发散垃圾"的模型（15.2）实际第二（4.10）；© 绑定块从不收敛到不动点，残差范数作为不确定性探针仅有弱信号（r=+0.27~0.39）。最终最优 23M 模型为 v11（绑定+全反传 PT+SFT：含pad 1.155 / 真实 2.915），生成质量定性最优。
1. 引言
深度自适应计算的经典路线有三：ACT（Graves 2016）、Universal Transformer（Dehghani 2019）、DEQ（Bai 2019）。它们共同假设：更多迭代 → 更好质量，且模型应学会"简单输入少想"。我们在一个小而完整的 LM 测试床（minimind，vocab 23005，7M/23M，全量 PT 39,695 步）上重新审视这些假设，发现：
- 深度缩放是真的------但它是训练机制的产物（§4.1）
- 免费早退是可以的------但代价是深度价值（§4.2）
- 两者在两个规模上均不可兼得（§4.3, 定律）
- 评测基准本身可能被 padding 主导（§5）
- 绑定架构无罪且小幅占优；Phantom 是长程负债（§5.5, 2×2 因果分解）
2. 架构（三明治）
emb+pos → LN → 2×标准层 → [权重绑定块 ×k, z ← z + α·Block(z)] → 2×标准层 → LN → head
Block = pre-norm causal attention + SwiGLU, α 可学习标量 (sigmoid 参数化, init 0.1)7.27M (d128) / 23.05M (d320)。训练默认 k=30（单深度）；多深度变体在 k∈{1,2,4,8,16,30} 全部施加监督。
3. 反向传播：1 步 Phantom
前向 no_grad 迭代 k 次至 z*；反向梯度仅穿过一步图 z₁=z₀+α·f(z₀)。短视界实测（23M, B=32, L=256, k=30, 1000 步）：
| 普通反传 | Phantom | |
|---|---|---|
| 峰值显存 | 6.45 GB | 3.50 GB (−46%) |
| 1000 步 val NLL | 4.837 | 4.869 (+0.032) |
| 步时 | 143 ms | 69 ms (−52%) |
普通反传显存随 k 线性增长，Phantom 恒定；k 越大优势越大。
⚠ 长视界警告（§5.5 2×2 的关键教训） ：上述 1000 步结论是视界假象 。在完整 39,695 步 PT 上，同架构下 phantom 比全反传差 +1.36 NLL （3.867 vs 2.508）------1 步梯度近似在早期足够、长程严重欠拟合。本文 v7/v8（phantom 训练）与 v10/v11（全反传训练）的全部差距来源于此。近似梯度的显存优势必须在完整训练视界上验证质量。
4. 核心发现：权衡定律
4.1 深度缩放存在（单深度训练）
| k | 1 | 2 | 4 | 8 | 16 | 30 |
|---|---|---|---|---|---|---|
| 7M 单深度 | 6.27 | 6.00 | 5.50 | 4.86 | 4.43 | 4.36 |
| 23M 单深度 | 5.66 | 5.45 | 5.11 | 4.63 | 4.29 | 4.25 |
| 23M 单深度+全量 39,695 步+Phantom | ~10 | ~10 | ~10 | ~10 | 9.71 | 4.24 |
- 深度单调换质量，随规模增强（每个 k 点 23M 均优于 7M）
- 但长训练+Phantom 将深度依赖推向极端：k<16 接近随机（NLL≈10=ln|V|），轨迹只在第 30 步"落地"
4.2 事后置信度早退失败；多深度监督使其免费
事后 maxprob 早退（v3，未训练早退）：
| τ | avg_k | NLL |
|---|---|---|
| 0.40 | 12.1 | 5.98 |
| 0.95 | 26.7 | 6.21 |
| (统一 k=16) | 16.0 | 4.43 |
逐位置早退全面劣于统一深度：中间深度的 logits 自信但错误------max-softmax 概率在 k≈8 饱和，而预测质量到 k≈30 才到位。"输出置信 ≠ 输出质量"。
多深度监督（v4/v6，k∈{1,2,4,8,16,30} 全部算 loss）：
| 训练 | k=1 | k=30 | 早退（τ=0, 全部 k=1 退出） |
|---|---|---|---|
| 7M 单深度 | 6.27 | 4.36 | 不可能（6.21@k̄=26.7） |
| 7M 多深度 | 4.40 | 4.38 | 4.4009（+0.03 免费） |
| 23M 单深度 | 5.66 | 4.25 | 不可能 |
| 23M 多深度 | 4.30 | 4.26 | 4.298（+0.04 免费） |
4.3 权衡定律
深度缩放与免费早退不可兼得。
深度缩放只在模型被允许（仅在最深处监督）依赖深度时出现；被强制在所有深度都好之后，一次迭代即可达到近最优------说明迭代的"深度"并不携带一步无法携带的信息，此前测得的深度缩放是计算路由的伪影而非信息的串行精化。
该定律在 7M 与 23M 上一致成立（v3↔v4, v5↔v6 对照），且多深度监督不损失质量上限（4.251 两边一致；7M 上甚至略升 4.36→4.34）。
对文献的含义：任何报告权重绑定深度缩放的工作若未含多深度对照，其深度缩放主张不成立；任何报告 ACT/早退的工作若未含单深度对照，则未展示其放弃的深度价值。
5. 基准的 padding 主导问题
既有 30M 对比基准（suffix NLL：预测 x193:256）中，61.6% 的评测位置是 padding（token 0）。含 pad 与仅真实 token 的排名完全反转：
| 模型 | 含 pad | 仅真实 token |
|---|---|---|
| CEDLR-Hybrid2-30M SFT（"2.78 冠军"） | 2.782 | 7.173（垫底） |
| Meta-ASH-30M PT（"15.2 发散垃圾"） | 15.242 | 4.099（第二） |
| 本文 DEQ-LM 23M PT（k=30） | 15.681 | 3.867（第一） |
- CEDLR 的训练目标含 pad 后缀 → 学会大量预测 token 0 → 含 pad 口径虚高
- Meta-ASH 与 DEQ-LM 以 ignore_index=0 训练 → pad 位置未定义（NLL 15+）→ 含 pad 口径被冤枉
- SFT（在含 pad 目标上微调）使 Meta-ASH 真实 token NLL 从 4.10 退化到 4.73（灾难性遗忘文本、学会 pad）
教训：序列填充占评测位置 >5% 时必须报告掩码口径，否则基准测的是填充预测器。（协议差异已注明：CEDLR 为 192 前缀+SWA-32 窗解码，DEQ-LM/Meta 为全因果注意力，任务难度不完全等价。）
5.5 等参数纯 Transformer 对照（关键控制实验，v9）
设置 ：5 层普通 Transformer（无绑定块），23.05M 参数精确对齐 v8，同数据、同 PT 39,695 步、同 SFT 28,304 步、同评测。
| 模型 (23.05M) | 含 pad NLL | 真实 token NLL |
|---|---|---|
| v9 纯 5 层 PT+SFT | 1.167 | 2.940 |
| v8 绑定深度 PT+SFT（2+30×tied+2） | 1.628 | 4.066 |
| v9 纯 5 层 PT（SFT 前） | 9.965 | 2.536 |
| v7 绑定深度 PT（k=30） | 15.681 | 3.867 |
v9 对照的初步结论（后被 v10/v11 修正，见下方 2×2）：
- 纯堆层在两个口径上大幅领先 phantom 训练的绑定模型（真实 token 2.536 vs 3.867）------初步指向"绑定是负债"，与 ALBERT 一致
- v8 的"双指标冠军"确认为缺少等参数对照的假象（其优势来自全注意力协议与训练充分度）
- 但该结论混淆了"绑定"与"phantom"两个变量------v7/v8 都是 phantom 训练的，归因不干净，需要 2×2 分解
2×2 分解（绑定 vs 纯堆 × Phantom vs 全反传，39,695 步，真实 token NLL）
| 全反传 | Phantom | |
|---|---|---|
| 纯堆 5 层 | 2.536 (v9) | --- |
| 绑定 2+30×tied+2 | 2.508 (v10) | 3.867 (v7) |
分解结论（三段式反转的最终版）：
- 绑定无罪且小幅占优：tied+全反传 (2.508) 略优于纯堆 (2.536)------三明治设计下跨层共享不损失质量（区别于 ALBERT 单体共享的负债结论，可能因三明治保留异构外层+绑定块仅占中层）
- Phantom 是真凶 ：tied+phantom (3.867) 比 tied+全反传 (2.508) 差 +1.36 NLL------1 步梯度近似在短视界（1000 步 memtest 差距仅 0.03）看似无损，长程训练严重欠拟合
- v8/v7 的全部劣势来自训练方法而非架构；v8 对 CEDLR 的胜利则来自全注意力协议而非绑定
2×5.5 多明治扩展（v12/v13）：循环内多样性检验
如果单段循环的优势瓶颈是"一个函数重复 30 次缺乏多样性"，则把循环拆成多个不同函数应更好。
结构（参数均精确对齐 23.05M，全反传 39,695 步）：
| 循环函数数 | 模型 | 真实 token NLL | 增量 |
|---|---|---|---|
| 0 | v9 纯 5 层 std×5 | 2.536 | --- |
| 1 | v10 std×2A×30std×2 | 2.508 | −0.028 |
| 2 | v12 stdA×15stdB×15std | 2.4994 | −0.009 |
| 3 | v13 stdA×10B×10C×10std | 2.4922 | −0.007 |
| 4 | v14 stdA×8B×8C×7D×7 | 2.5140 | +0.022 ↩️ |
结论：
- 多样性收益在 3 段达峰后回落------v14 (4 段) 甚至差于 v10 (1 段)。两个归因（混淆已注明）：① v14 无后桥 std（输出侧异构层比第 4 个循环函数重要）；② 每段仅 7-8 次迭代不足------v14 末段 α 膨胀到 0.261（其他段 0.07-0.15），被迫迈大步补偿，循环语义退化为普通层
- 最优配置是三段×10（v13）：多样性 × 每段足够迭代的平衡点
- α 角色分化：v12 (0.057/0.092)，v13 (0.059/0.072/0.126)------循环自发学出"精化型/中间型/主力型"分工
- 排序逻辑最终版：有效深度（~33 层）是主菜，循环内多样性是调料（适量即止，3 种最佳），输出侧异构桥不可省
- SFT 后优势保持：v13+SFT (1.1429/2.8802) 双指标胜 v11 (1.155/2.915) 与 v9S (1.167/2.940)------多明治三段是全流程双指标冠军
v11（v10 + SFT，28,304 步全反传）将绑定优势锁定为三连胜（同参数同协议同评测）：
| 阶段 / 指标 | 绑定+全反传 | 纯堆 5 层 | 差距 |
|---|---|---|---|
| PT 真实 token | 2.508 (v10) | 2.536 (v9) | −0.028 |
| SFT 含pad | 1.155 (v11) | 1.167 (v9-SFT) | −0.012 |
| SFT 真实 token | 2.915 (v11) | 2.940 (v9-SFT) | −0.025 |
幅度小（0.01-0.03 NLL）但三处方向一致------三明治绑定共享在等参数下是小幅一致净赢。另：SFT 使真实 token 从 2.51→2.91 退化（v10→v11，v9 同样 2.54→2.94）------网格 SFT 数据本身携带 ~0.4 真实 token 代价（换取 pad 能力），且污染生成（§6.5：v9-SFT 会 pad 刷屏，v10 纯 PT 生成最流畅且从不输出 pad）。
方法论教训（普适） ：①近似梯度的显存优势必须在完整训练视界上验证质量，短程 memtest 会严重误导；②归因需要 2×2------没有 v9 会错误归功于绑定，没有 v10 会错误归罪于绑定。
6.5 定性生成对比（2×2 结论的定性印证）
同提示同采样（top-k=50, top-p=0.9, rep=1.2, T=1.0）。
第一轮（v9/v10/v8）：
| 提示 | v9 纯堆 SFT | v10 绑定+全反传 PT | v8 phantom SFT |
|---|---|---|---|
| "人工智能是" | 可理解但跑偏，随后 pad 刷屏 | "如何改变我们生活的重要技术...应用于医疗、金融、工业等各个领域" | 词沙拉 |
| 购物对话语境 | 半连贯后话题出轨 | 对话风格自然延续 | 立即 pad 刷屏 |
| 法语文本前缀 | 中英混杂混乱 | 自然转入连贯中文 QA 轮次 | 乱码 |
第二轮（v13/v13S/v10 参照）：
| 提示 | v13 三段 PT (2.4922) | v13S 三段 SFT | v10 单段 PT |
|---|---|---|---|
| "人工智能是" | "基于自然语言处理技术的智能系统...应用于医学、金融和交通"（最具体准确） | 跑偏到电影文化 | 流畅但泛泛 |
| 购物语境 | 在题：搜索/价格语境自然延续 | 跑偏到汽车 | 跑偏到阅读 |
| 法语文本前缀 | 先短暂延续法语再自然转中文（最佳语码切换） | 乱码 | 无视法语直接转中文 |
- v13 PT 是全项目最佳生成器：最在题、最具体、语码切换最自然------与 NLL 排名一致
- 双重确认"SFT 伤开放域生成"：v13S 与 v9S 均跑偏/乱码------网格 SFT 数据换 pad 能力的 ~0.4 真实 token 代价在生成端定性可见；纯 PT 模型（v10/v13）从不输出 pad 且生成更稳
- v8 的 phantom 欠拟合 (+1.36 NLL) 在生成中定性可见
- 事实性错误仍存在（23M PT 模型的预期水平）
6. 负结果与诚实边界
| 主张 | 结果 |
|---|---|
| 绑定块收敛到不动点（DEQ 语义） | ✗ 相对残差恒 ~0.15/步，30 步不收敛；本架构实为"绑定深度"而非隐式模型 |
| 残差范数=不确定性 | △ r=+0.27~+0.39（23M 强于 7M，但不构成可用探针） |
| 事后 maxprob 早退 | ✗ 灾难性失败（§4.2） |
| 深度缩放=信息串行精化 | ✗ 伪影（§4.3） |
7. 相关工作
- ACT (Graves 2016)：训练 halting；本文证明事后置信 halt 不可行，支持其"必须训练"立场
- Universal Transformer (Dehghani 2019)：报告深度缩放，无多深度对照------按 §4.3 其主张存疑
- DEQ (Bai 2019)、Phantom Gradient (Geng 2021)：本文 phantom 实测 −46% 显存与其承诺一致
- ALBERT (Lan 2020)：跨层参数共享损失性能；本文三明治缓解
- 早期退出（CALM, Bert-shallow-deep 等）：层间异构退出；本文为同块迭代退出，权衡或更本质
8. 局限
- 23M/minimind 规模；定律在 ≥1B 上未验证（但 7M→23M 方向一致）
- 多深度监督只测了均匀 6 点；curriculum 或加权变体可能部分恢复两者
- k=30 上限；更大 K 下定律外推未验证
- §5 跨模型比较含架构性协议差异（窗注意力 vs 全注意力）
9. 结论
绑定迭代块的语言模型存在一个此前未明的基本权衡 ：深度缩放与免费早退互为代价，因为深度缩放本身是训练伪影。等参数 2×2 对照链（v7/v9/v10，由 v11 收尾）给出了干净的因果分解与最终裁决：绑定架构无罪且小幅占优 ------v10（tied+全反传）PT 真实 token 2.508 胜纯堆 v9 的 2.536；v11（v10+SFT）三连胜（1.155/2.915）；1 步 Phantom 是唯一的真凶 （+1.36 NLL 长程负债，短程 memtest 无损是视界假象）。在此基础上，多明治扩展（v12/v13）证明循环内函数多样性带来持续递减但未饱和的增益 （0→1→2→3 个循环函数：2.536/2.508/2.4994/2.4922，α 自发分化为三种角色），v13S（三段循环 PT+SFT，1.1429/2.8802）成为全流程双指标冠军。基准评测必须掩码 padding------否则排名反转（61.6% 位置是填充时，冠军与垫底互换）。
本文六条最终贡献：
- 权衡定律：深度缩放 ↔ 免费早退不可兼得（跨规模）------UT/ACT 类工作的必要对照
- 等参数 2×2：三明治绑定共享三连胜异构堆叠（区别于 ALBERT 单体共享的负债结论）
- Phantom 长程警告：−46% 显存的代价在 39,695 步才显现（+1.36 NLL）------近似梯度必须全视界验证
- 基准方法论：padding 主导的排名反转------掩码口径必须成为标配
- 多明治多样性定律 ：循环内函数数 0→1→2→3 单调改善（−0.028/−0.009/−0.007）并在 3 段达峰，第 4 段回落（v14 过碎 + 丢后桥）------三段×10 是甜点；循环 α 自发分化为精化/中间/主力角色，末段迭代不足时 α 膨胀退化
- 最优 23M 全流程模型 v13S（三段多明治 stdA×10B×10C×10std）：含pad 1.1429 / 真实 2.8802 双指标冠军；纯 PT 天花板 v13（2.4922）------均远超既有 CEDLR (7.17)/Meta (4.10)
附录 A：版本对照
| 版本 | 配置 | 关键数字 |
|---|---|---|
| v1 | 7M, h_deq 丢弃 bug | 4.39（=4层对照） |
| v2 | +谱范数+低lr | 4.45（容量受损） |
| v3 | 修复 | k 扫描 6.27→4.36；事后早退失败 |
| v4 | v3+多深度 | k=1 即 4.40；早退免费 |
| v5 | 23M | 5.66→4.25；探针 +0.385 |
| v6 | 23M 多深度 | 定律跨规模成立 |
| v7 | 23M Phantom 全量 39,695 步 | 全序列 4.2385；真实token 3.867 |
| v8 | v7+SFT（含pad 协议, 28,304 步, phantom） | 含pad 1.628 / 真实 4.066 |
| v9 | 等参数纯 5 层对照 39,695+28,304 步全反传 | PT 真实 2.536 / SFT 1.167/2.940 |
| v10 | 绑定+全反传对照 39,695 步 | 真实 2.508 |
| v11 | v10+SFT 28,304 步全反传 | 含pad 1.155 / 真实 2.915（全流程双指标冠军） |
| v12 | 多明治双段 stdA×15stdB×15std | 真实 2.4994，α 分化 0.057/0.092 |
| v13 | 多明治三段（甜点） stdA×10B×10C×10std | 真实 2.4922（PT 冠军），α 0.059/0.072/0.126 |
| v13S | v13+SFT | 1.1429/2.8802（全流程双指标冠军） |
| v14 | 多明治四段 stdA×8B×8C×7D×7 | 真实 2.5140 ↩️ 趋势回落（过碎+无后桥） |
附录 A2：终评矩阵（最终完整版，后缀 NLL 含pad / 真实token）
| 模型 | 含pad NLL | 真实 token NLL |
|---|---|---|
| v13S 多明治三段 PT+SFT (23M) | 1.1429 🥇 | 2.8802 🥇 |
| v13 多明治三段 PT (23M) | 10.062 | 2.4922 🥇 |
| v12 多明治双段 PT (23M) | 10.379 | 2.4994 |
| v11 绑定+全反传 PT+SFT (23M) | 1.155 | 2.915 |
| v9 纯 5 层 PT+SFT (23M) | 1.167 | 2.940 |
| v10 绑定+全反传 PT (23M) | 9.850 | 2.508 🥇 |
| v9 纯 5 层 PT | 9.965 | 2.536 |
| v8 绑定+phantom PT+SFT | 1.628 | 4.066 |
| CEDLR-Hybrid2-30M SFT | 2.782 | 7.173 |
| CEDLR-Hybrid2-30M PT | 2.785 | 7.185 |
| Meta-ASH-30M PT | 15.242 | 4.099 |
| Meta-ASH-30M SFT | 14.556 | 4.732 |
| v7 绑定+phantom PT | 15.681 | 3.867 |
绑定架构三连胜（同参数同协议）：
- PT 真实 token: v10 (2.508) > v9 (2.536)
- SFT 含pad: v11 (1.155) > v9-SFT (1.167)
- SFT 真实 token: v11 (2.915) > v9-SFT (2.940)
幅度小（0.01-0.03 NLL）但三处方向一致------三明治绑定共享在等参数下是小幅净赢，区别于 ALBERT 单体共享的负债结论。
另：SFT 使真实 token 从 2.51→2.91 退化（v10→v11, v9 同样 2.54→2.94）------网格 SFT 数据本身携带 ~0.4 真实 token 代价（换取 pad 能力）。
附录 B：调试记录（三个架构级 bug）
- h_deq 计算后被丢弃------DEQ 块完全旁路，k 扫描全同（最隐蔽）
- α 参数化：sigmoid(0.1)=0.525 ≠ 0.1，须 logit 参数化
- exact_k 循环计数写反
附录 C：复现
python deqlm_v3.py / deqlm_v4_multidepth.py # 7M 定律对照
python deqlm_v5_30m.py / deqlm_v6_30m_multidepth.py # 23M 定律对照
python phantom_memtest.py # 显存/质量 (短视界)
python deqlm_v7_full.py && python deqlm7_vs_cedlr2.py # phantom 全量+跨模型掩码评测
python deqlm_v9_vanilla.py # 等参数纯堆对照 (PT+SFT)
python deqlm_v10_tied_fullbp.py # 绑定+全反传 (2x2 完成)
python deqlm_v11_sft.py # v10+SFT → 全流程冠军
python matrix30_masked.py / matrix30_final.py # 30M 全模型掩码矩阵
python gen_compare.py # 定性生成对比https://github.com/dfytensor/OpenAshAnyWhere/blob/master/rubikgla