回归门禁

thesky1234567 天前
智能体·回归门禁·持续评测·evalops·评测即代码·ci集成·数据集版本化
智能体面试准备(九十三):智能体持续评测与 EvalOps 工程——评测即代码/CI集成/回归门禁/数据集版本化本文是 B 系列第 93 篇。前面 B56 讲了评测门禁与回归测试,B65 讲了轨迹评测与工具调用正确性,B91 讲了评测可复现性与基准治理。这些把"怎么评"讲清楚了,但还差一步工程化:评测不能只在大版本发布前人工跑一遍,而要像单元测试一样,每次提交、每次改 prompt、每次换模型都自动跑、自动拦。这就是 EvalOps(评测运维化)。
thesky1234561 个月前
llmops·灰度发布·智能体·版本治理·影子流量·回归门禁·自动回滚
智能体面试准备(二十三):灰度发布与回滚——版本治理、影子流量、回归门禁与自动熔断上一篇《高并发编排与多租户隔离》解决的是"系统能不能扛住",这一篇解决的是它的下一个问题:"改动能不能安全地上线"。这是 B 系列第二十三篇。Agent 系统的发布有一个传统软件没有的特性——它的行为变更是概率性的、不可静态审查的。改一行 prompt,代码 diff 只有一行,但影响面可能覆盖全部流量,且没有任何编译器或类型系统能提前告诉你哪里会坏。更麻烦的是,上游模型供应商可能在你毫不知情的情况下悄悄更新了模型权重,你的系统在没有任何代码变更的情况下行为漂移。"你们的 Agent 怎么发版"是有生产经
我是有底线的