在线蒸馏 - 在线蒸馏技术,学习,经验文章

Together_CZ

2 小时前

在线蒸馏（OPD）、递归自我改进（RSI）与递归自我学习（RSL）整体学习理解认知一：这三者不是并列的三个技术，而是三个不同抽象层级。 OPD 是一个训练目标；RSL 是一类闭环系统架构；RSI 是一个自治度的分级框架。把它们并列讨论会导致大量概念混乱。正确的关系是：OPD 是 RSL 闭环里最锋利的那把工具，而 RSL 是 RSI 在 L3–L4 层级的具体实现形态（详见 §6）。