技术栈

效果归因

thesky123456
4 小时前
智能体·a/b测试·影子模式·线上实验·渐进发布·效果归因·bad case漏斗
智能体面试准备(五十四):智能体线上实验与效果归因体系——上线决策科学B31 讲过 Agent 评测体系(轨迹指标、LLM-as-Judge、benchmark),B20 讲过可观测性。但评测高分只是门票——真正决定一个智能体能不能上线的,是"线上实验能不能证明它比旧版好,且好在哪里、坏在哪里可解释"。本篇是工程实战深化的收官讲,讲清智能体上线前的实验设计(A/B、影子、渐进)和上线后的效果归因(因果分解、bad case 漏斗、上线门禁)。这是大厂面试里"有没有真把 Agent 跑过生产"的分水岭。
我是有底线的