蒸馏模型上线以后，教师回退率突然升高，团队最容易做的动作是继续补数据、再训一轮。这个动作有时有效，也可能白白消耗一轮训练资源。回退率只是一项结果指标。学生能力不足、路由门槛过严、线上任务发生变化，都会把它推高。排查时应先把一次回退还原成完整调用链，再判断问题落在哪一层。
我重新对照了 RouteLLM 的论文、公开的模型迁移指南和蒸馏训练文档。它们提供的实现并不相同，能放在一起使用的判断很明确。路由器需要在自己的任务上评测，模型更新以后要重新跑回归测试，学生模型的表现还会受到训练数据和教师信号影响。下面是一套客户端诊断方法，其中字段、阈值和暂停条件都属于企业内部建议口径。
先确认回退率的分母没有变
同一个回退率可以有几种算法。有人用教师请求数除以全部请求数，有人只统计原本分给学生的请求，还有人把超时重试、策略拦截和人工升级都算成教师回退。算法混在一起，趋势就没有可比性。
建议把指标写成可复算的形式。分母是已进入学生路径的业务任务数，分子是这些任务中至少调用过一次教师的任务数。同一任务连续调用两次教师，仍然只计一个回退任务，额外调用次数另设指标。预先被规则分给教师的高风险任务也不进入这个分母，因为学生从未处理它。
随后检查数据链路。日志采集是否换了版本，任务去重是否失效，某些接口是否把一次流式请求拆成多条记录。若分母或任务身份已经变化，模型还没有接受诊断，监控口径先出了问题。
用任务分桶定位回退集中在哪里
总回退率确认无误以后，把任务按业务类型、输入长度、语言、提示版本、模型版本和调用入口拆开。没有必要一次分几十个维度，先找变化最明显的一两个桶。
若所有任务的回退都在同一时间上升，优先查服务故障、模型版本和公共提示。若只有长输入上升，检查上下文截断、检索材料长度和输出上限。若某个新业务来源明显偏高，任务分布变化的可能性更大。某一提示版本异常，则先回滚提示并回放相同样本，不要急着动模型权重。
每个桶至少同时看样本量、学生直出、教师升级、严重错误和人工修改。样本很少时，百分比会剧烈摆动。一天里两次失败就把回退率推高，并不能证明模型能力已经退化。
容量不足会留下什么痕迹
学生容量不够通常会在一组稳定任务上重复出现。输入形式没有明显变化，提示和路由也保持不变，学生仍然在多步推理、长程约束或少见知识上持续落后。把回退样本重新交给同一学生多次，偶尔答对并不能消除问题。生产系统关心稳定完成，不是碰巧得到一次好答案。
这时应拿固定回归集比较旧学生、新学生和教师。评测不能只看一个平均分。结构合法率、业务验收、严重错误、延迟和完整任务成本都要保留。教师也可能答错，所以"与教师一致"不等于业务正确。能用规则或人工答案核对的任务，尽量保留独立标准。
容量问题得到确认以后，才讨论扩大学生、换底座或补做蒸馏。新一轮数据应来自已经归因的失败桶。把超时、解析器错误和权限拦截一起倒进训练集，不会让学生学会解决这些系统问题。
路由规则过严或过松怎样区分
路由器的工作是把请求送到合适的模型。RouteLLM 研究展示了用不同方法在质量与成本之间选路，但论文结果不能直接变成某家企业的线上阈值。任务、模型组合和质量标准一变，决策边界也会变。
排查时保存路由得分、触发规则、候选模型和最终验收结果。若大量回退任务后来证明学生可以稳定完成，门槛可能过严。若低回退伴随严重错误增加，门槛可能过松。只追求降低教师用量，会把一部分失败藏进学生直出。
可以用历史请求离线回放几个候选阈值，观察学生覆盖率与严重错误怎样变化。选定区间后只放少量线上流量，并保留旧规则作为对照。阈值不要和代码一起悄悄更新，至少记录版本、启用时间和审批人。
任务分布变化需要单独处理
线上业务会变。营销活动带来新的问法，产品改版增加字段，检索库加入新文档，用户输入也可能突然变长。学生在旧评测集上保持原分数，面对新任务仍会频繁回退。这种情况用旧数据继续训练，往往只会再次得到一个擅长旧分布的学生。
比较两个时间窗口的任务类别、长度区间、语言和工具调用比例，再抽样阅读新增失败。变化能够被业务解释时，先判断这些任务是否值得交给学生。出现频率低、风险高又难以验收的任务，直接保留教师可能更合适。数量稳定、边界清楚且成本可观的新增任务，才适合进入新一轮数据构建。
模型厂商更新版本时也要走同样流程。Google 的模型迁移说明强调代码回归、模型表现评测和负载测试。对蒸馏系统来说，教师更换还会改变生成数据和比较基线。旧学生不应自动判废，也不能未经验证继续扩大流量。
把调用日志和业务结果接起来
多模型系统可以使用统一接入层减少接口维护。以147AI为例，团队可以按实验或环境创建不同 API Key，并结合调用量、消耗和日志核对模型调用。当前具体模型和接入方式仍以平台页面为准。
接入层日志无法替代企业自己的业务记录。任务类型、路由原因、质量标签、人工结论和数据版本需要保存在内部系统，再用内部任务编号关联每次调用。对敏感数据、严格服务等级或特殊合规要求，还需另行核对合同和数据处理边界。
排查顺序可以收得很短。先复算指标，再找到异常任务桶，然后固定样本比较模型，最后才改阈值或重训。每次只改一个主要因素，改完用同一套回归集验证。这样做不一定当天就能让回退率下降，却能避免把系统故障、路由失误和模型能力混成一笔训练费用。