面向演进式企业AI智能体技能的持续流程级评估

arXiv:2610.01833v1，2026‑10‑01

摘要

企业AI智能体技能并非静态产物：工具API变更、大模型版本迭代、业务运营反馈带来的需求修订，都会不断对技能进行修改迭代。当前主流验证方式仅校验最终输出结果的正确性，会系统性漏掉迭代过程中产生的流程层面行为漂移。

本文提出一套面向企业智能体技能的持续评估框架，同时融合结果层面与流程层面质量校验；并在企业VAR（Value Aware Resiliency，价值感知弹性）系统内部的BVD（Business Value Determination，业务价值判定）两类技能变体上完成验证。

框架会为每一轮实验独立计算真值；将模板化测试用例实例化为持久回归用例；针对工具选择、参数正确性、执行顺序、数据库完整性执行程序化校验；对于严格字符串匹配容易失效的语义类参数，引入受限的LLM评判器做补充校验。

完成共计240组全自动实验，覆盖两类结构不同的业务技能（收益分摊、生产效率分摊）、两份规格说明书变体（SKILL.md / Skill.txt）、两套智能体管控框架（Claude Code、Codex）、三款大模型（GPT‑5.6‑Sol、Claude Opus 4.8、Claude Sonnet 4.6）。

240组实验中，175组全部通过最终数值结果校验；其中162组（92.6%，Wilson 95%CI：87.7‑95.6%）仍然存在至少一项流程评估检测出的行为偏差。
扩大最终状态校验到7项指标后，164组通过全部最终状态校验的实验里，依然有151组（92.1%，95%CI：86.9‑95.3%）存在轨迹流程违规。

依赖归因可以将单轮平均6.34项失败检查压缩为平均2.65项根因故障。规格说明书变体带来的敏感性与模型、管控框架强相关：收益分摊任务三组对比、GPT模型下的生产效率分摊任务，非调整bootstrap交互区间不含零；剩下两组生产效率对比区间包含零。

带运行时解析占位符的模板测试用例，可在不同规格、模型、管控框架下复用做回归测试；在真实API持续演进条件下的长期验证属于未来工作。

1 引言

企业IT基础设施成本分摊这类智能体技能会持续迭代：观测平台API升级、财务团队更新计算公式、底层大模型版本升级，都会带来技能修订。每一次修改都可能引入行为回归：实际执行流程偏离技能预期设计。

现有评估手段存在明显短板：仅校验最终输出报告、数据库行、金额数字是否符合预期。智能体完全可以输出看起来正确的结果，但中间执行流程完全错误 ：调用API时传递错误的作用域、跳过强制数据库回读步骤、把中间结果写入错误数据表。这类流程层面偏差，纯结果校验完全无法捕获。

这些偏差会污染下游智能体步骤、破坏数据完整性；很多输出只是巧合正确，输入发生微小变化就直接失效。在持续迭代的生产环境，偏差会在多次修订中持续累积，流程级评估是负责任部署流程的必备环节。

本文不提出全新持续学习算法，重点研究支撑智能体安全迭代演进的评估层；在企业VAR系统BVD业务价值判定技能上验证思路。即便BVD输出了正确的分摊数值，执行轨迹依然可能违反作用域、持久化、执行顺序约束；只看最终汇总数值无法发现，必须依靠细粒度结果+流程双重校验。

主要贡献

环境绑定评估框架：独立于智能体执行轨迹，调用真实API计算真值；程序化校验工具选择、参数、执行顺序、数据库完整性；对语义灵活参数使用范围受限的LLM评判器做补充校验。
参数化回归契约：模板测试用例携带运行时解析占位符，运行时实例化预期作用域、数量、数值，而非硬编码写死；一套测试套件跨多种配置复用（收益分摊104条用例，生产效率分摊80条用例）。
实证实验（240次全自动实验）：175组通过全部最终数值校验的实验中，162组仍然存在流程偏差；把最终状态校验扩大到7项后，164组通过最终状态校验的实验，151组仍然违反轨迹约束。
敏感性分析与根因分解：排除外部错误之后，结果‑流程之间的巨大差距依旧存在；故障覆盖：数据一致性、缺失执行阶段、白名单违规、调用次数、作用域校验；同时分析规格说明书变体带来的敏感性。

2 企业AI智能体技能作为持续演进系统

企业智能体技能和学术基准不同：不是评估一次就归档下线，会随着API更新、需求迭代、工具升级、大模型升级反复修改迭代，存在4个演进维度：

工具API演进：观测平台、数据库、业务系统API持续更新；参数名、语义发生变化，旧调用静默失效。
技能规格文档修订：从生产运行反馈迭代文档，消除歧义、更新业务逻辑；会改变智能体规划策略，但不会体现在结果指标。
LLM版本变更：同模型家族版本迭代，对于模糊步骤的规划选择发生偏移，工具调用集合、调用顺序随之改变。
管控框架（Harness）变更：企业为成本、时延、集成需求更换智能体运行框架；同样输出精度下，不同harness具备完全不同流程偏差模式；同一规格在A框架鲁棒，换到B框架精度大幅下降。

以上四类变更引入的风险，只做结果校验无法检测；仅校验最终输出会放行流程已经发生回归的技能版本。本文提出：基于持久模板测试用例的流程级评估，作为这类场景的质量门禁。

3 相关工作

智能体系统行为漂移与稳定性：同样输入多次运行输出不稳定；聚合任务完成指标会掩盖工具调用、策略、记忆召回层面故障；多智能体轨迹分析显示大量故障来自系统设计、任务校验，并非底层模型能力不足。
智能体评估方法论 ：GroundEval提出面向状态任务的确定性评估，不用LLM‑as‑judge；评估需要组合：确定性检查保证可复现、LLM评判处理语义变化、人工评审做校准监督。多篇文献建议结果评估与流程评估结合；能力基准与偏好基准互补。
LLM作为评判器的局限性 ：LLM评判容易受回答顺序、冗长程度、模型自身影响；但纯确定性规则又会漏掉语义层面故障。本文框架采用规则结构化校验为主，LLM评判只用于选定的语义灵活参数；对60个随机采样案例双人人工复核，57个和评判结果一致（95%吻合），降低评判风险。
参考真值可靠性 ：已有工作发现自动生成测试用例大量错误来自oracle（真值）而不是输入。本文框架独立调用业务真实API计算真值，不和智能体执行轨迹耦合；风险：API状态在执行阶段和评估阶段之间可能发生变化。
流程 vs 结果评估：关键业务场景必须重视流程评估；数学推理任务流程监督优于结果监督；可以从执行轨迹做智能体故障诊断。
CI/CD回归评估 ：ML领域持续监控回归测试是软件工程成熟实践；AgentEval使用DAG做步骤级检查提升根因定位。本文在此基础做两点扩展：
- ①模板测试用例带运行时解析占位符，支持技能规格、工具API、输入集合发生变化之后复用；
- ②独立调用实时API生成真值，避免依赖自动生成oracle带来的大量错误。

AgentEval DAG依附单次工作流实例；本框架的回归工件在评估时刻从企业当前环境解析出预期值。

4 实验系统：VAR与BVD业务价值判定

VAR系统（Value‑Aware Resiliency）

企业弹性智能体系统，衡量应用程序针对业务SLO的抗风险能力；由一系列LLM智能体技能流水线组成：BVD业务价值判定 → 归因评估 → 应用优化器 → 故障诊断 → 建议生成 → 建议影响评估 → 建议优化器。

技能依托两套MCP服务器：

VAR MCP Server（23个无状态工具）：从Instana、Kubecost、ServiceNow拉取监控利用率数据。
VAR Data Access MCP Server（18个工具）：会话状态管理、结果持久化、SQLite分摊数据表读写。

BVD业务价值判定（流水线第0步）

输入：应用资产清单、时间区间、年度总营收；

行为：调用观测API获取每个应用CPU、内存、调用量利用率；按权重（CPU40%、内存40%、调用量20%）比例分配业务价值；输出写入持久数据库，下游全部技能依赖该数据表。BVD出错，整条流水线全部被污染。

评估两套变体技能：

收益分摊（Revenue Apportionment）：把总营收分摊到9个业务应用；暂存监控返回数据、回读校验、计算分摊，分别写入主机表、应用表；测试套件104条检查项。
生产效率分摊（Productivity Apportionment）：除收益分摊逻辑之外，额外拉取Kubecost Kubernetes成本、Cloudability EC2成本；需要EC2资源标识；把主机成本拆分给各个应用；计算营收‑成本生产效率，完整处理NULL语义，输出另一份应用数据表；测试套件80条检查项。

两套技能共享资源营收分摊逻辑，但工具集合、持久化契约、工作流深度完全不同。

规格说明书变体

MD版本（SKILL.md）：完整详细版本；
TXT版本（Skill.txt）：
- 收益分摊：大幅精简（904词 vs 1379词）；删除工具参考表格、大量输出警告约束，但保留暂存、回读、分摊、持久化流程。
- 生产效率分摊：仅小幅精简；增加MD版本没有的业务逻辑：时长计算公式、归一化区间[0.01,1]、排除非资产内应用、EC2联合成本查询、CSV导出。

MD与TXT差异代表完整修订（语法、篇幅、业务内容同时变化），不是单纯文件格式对照实验；两套版本均把数学计算交给工具执行。

5 持续评估框架

评估框架为五阶段流水线，完全独立于被评估智能体会话。

捕获输入并解析工具调用轨迹
独立调用API计算真值Ground‑Truth
实例化模板测试用例（运行时解析占位符）
评估：结果校验 + 流程轨迹校验
根因故障报告：链式依赖归因

阶段1、5每次运行独立生成；阶段2‑4同一套模板套件，跨规格、模型、管控框架复用。

5.1 阶段1：捕获输入，解析工具调用轨迹

在技能spec第一步增加一行埋点指令，智能体将结构化输入（资产清单、时间区间、营收）输出到结构化日志；

从管控框架执行日志完整提取工具调用轨迹：工具名称、入参、返回值、对话轮次编号。

5.2 阶段2：独立计算真值

独立Python脚本，走完全独立执行路径调用同一套真实业务API，计算每个应用预期分摊结果。

解决已有工作中LLM生成oracle大量出错的痛点；风险：智能体执行和评估两个时间窗口，线上API状态可能发生变化，论文中将其列为有效性威胁。

5.3 阶段3：实例化模板测试用例

模板测试用例使用运行时解析占位符 ，而非硬编码数值。例如$k8s_host_date_calls，评估阶段从阶段2的真值结果动态解析填充。

模板具备输入参数化能力：只要工具语义不变，同一模板文件可以适配不同时间窗口、资产清单、营收数值。

测试用例之间声明depends_on依赖关系；区分根故障和连锁派生故障，支撑第五阶段链式归因。

模板片段示例：

json 复制代码

{"id": "k8s_cpu_mem",
 "condition": "$has_k8s",
 "check": {"type": "tool_call"},
 "tool": "...calculate_k8s_cpu_memory_usage",
 "scope_arg": "cluster_name",
 "expected_calls": "$k8s_host_date_calls",
 "depends_on": "resource_util_store_args_match"}

实例化之后展开为：存在性、参数、作用域、执行、冗余、调用次数检查；下游检查项通过ID引用依赖。

5.4 阶段4：评估（结果校验 + 流程轨迹校验）

三层评估划分：

Level‑1（窄最终数值结果）：收益分摊只校验应用营收；生产效率分摊校验：应用营收、总成本、生产效率。
Level‑2（扩展最终状态，共7项）：Level‑1指标 + 其他存储字段、归一化求和、返回响应结构。
Level‑3（轨迹流程校验）：全部流程检查项。

分层目的：验证即便扩大最终状态检查项，流程轨迹校验依然可以发现额外违规。

流程校验四大维度

工具选择：是否调用全部必需工具；没有调用无关多余工具。
工具参数：时间区间、过滤器、数值参数做类型约束；大部分检查纯程序化执行；只有严格字符串匹配会失效的场景（语义等价SQL、参数不同表达形式），才调用受限LLM评判器；数值比较交给计算器工具执行。

对60条随机LLM评判样例双人人工复核，57条和人工结论保持一致（95%）；评判器作为补充，不替代程序化检查。

工具调用顺序 ：强制业务阶段时序：获取数据 → 暂存存储 → 回读校验 → 计算分摊 → 写入结果，依靠对话轮次序号判断执行顺序。
参数作用域：每个集群、主机维度调用，校验是否漏调用（覆盖不足）、错误过滤（覆盖过大）。

流程校验价值：当技能spec精简、API发生变化，模型在模糊步骤行为改变；即便巧合输出正确最终数字，流程检查依旧捕获行为偏移，在部署前作为回归告警交给人工评审。

5.5 阶段5：链式归因，输出根故障报告

检查失败之后遍历依赖图，区分根故障和连锁派生故障；派生故障归因到根原因，减少开发者需要逐条排查的症状数量。

图推导得到根故障属于描述性压缩，不是已经验证过的因果解释。

6 实验设置

技能&测试套件

收益分摊：104条模板测试用例
生产效率分摊：80条模板测试用例

业务数据

企业真实资产：9个应用，2套K8s集群、1台EC2主机；年度总营收$1,200,000。

收益分摊时间窗口：2026‑05‑01 ~ 2026‑05‑15，Instana拉取监控；
生产效率分摊窗口：2026‑07‑01 ~ 2026‑07‑15；额外访问Kubecost、Cloudability获取成本。

实验变量矩阵

技能：收益分摊 / 生产效率分摊
规格变体：MD(SKILL.md) / TXT(Skill.txt)
管控框架：Claude Code、Codex
模型：GPT‑5.6‑Sol、Claude Opus 4.8、Claude Sonnet 4.6

矩阵维度：2 × 2 × 2 × 3；每个单元格10次重复实验；总实验：240次全自动运行。

统计分析

报告每组均值、标准差；
差分‑差分计算(MD‑TXT)_{CC} − (MD‑TXT)_{Codex}，20000次重采样非参数bootstrap，95%区间；
区分：窄Level‑1最终数值、Level‑2扩展7项最终状态、Level‑3轨迹流程检查；
成本只做描述统计，不做严格因果对比（服务商定价、缓存、模型合同不受实验控制）。

7 实验结果

7.1 跨模型、跨管控框架综合结果

Gap = MD得分 − TXT得分；R稳健(|gap|<2pp)，M中等敏感(2‑8pp)，S高敏感(>8pp)

技能	Harness	Model	MD(%)	TXT(%)	Gap	Rob.
Revenue	Claude Code	GPT‑5.6‑Sol	94.5 ± 1.0	95.7 ± 4.6	−1.2	R
		Opus 4.8	96.5 ± 0.5	86.8 ± 2.3	+9.7	S
		Sonnet 4.6	95.0 ± 2.4	88.8 ± 5.4	+6.3	M
	Codex	GPT‑5.6‑Sol	95.0 ± 2.2	82.1 ± 6.4	+12.9	S
		Opus 4.8	95.5 ± 1.1	83.7 ± 2.3	+11.8	S
		Sonnet 4.6	92.2 ± 2.9	92.6 ± 4.2	−0.4	R
Prod.	Claude Code	GPT‑5.6‑Sol	99.6 ± 0.8	95.0 ± 0.8	+4.6	M
		Opus 4.8	98.0 ± 0.6	95.9 ± 1.3	+2.1	M
		Sonnet 4.6	98.3 ± 1.5	95.6 ± 1.5	+2.6	M
	Codex	GPT‑5.6‑Sol	90.9 ± 6.3	91.9 ± 4.0	−1.0	R
		Opus 4.8	98.0 ± 1.6	95.3 ± 3.6	+2.8	M
		Sonnet 4.6	92.3 ± 4.9	91.6 ± 8.1	+0.6	R

收益分摊全部120次实验都通过Level‑1最终营收数值校验；但全部120次都存在至少一项流程检测出的偏差；纯结果校验会漏掉67.5%实验的问题。

核心统计：

240次实验，175次全部通过Level‑1窄最终数值校验；其中162次（92.6% Wilson CI $87.7,95.6%$ ）仍然存在流程偏差。
过滤外部错误之后：131/144（91.0%）；过滤不可恢复错误：136/147（92.5%）；结论保持不变。
扩大到Level‑2共7项最终状态校验：240次中164次全部通过7项最终状态；151次（92.1% CI $86.9,95.3%$ ）依然存在轨迹流程违规 。
- 收益分摊：109/109全部通过7项最终状态，仍然存在流程违规；
- 生产效率分摊：42/55（76.4%）。

根故障类别统计（非互斥，总和大于样本数）

162次结果正确但是流程告警实验：

数据/数值一致性：106
缺失阶段/必需工具：66
白名单违规（调用无关工具）：55
冗余/调用次数违规：43
作用域/过滤器违规：13
返回格式问题：2
工具执行故障：1

将无关工具白名单检查完全移除，162次样本依然还有大量其他失败，证明现象不是单一检查项带来的伪影。

故障压缩效果

单轮实验平均失败检查项6.34项；经过依赖归因压缩，平均根故障仅2.65项，待排查条目减少58%。

收益分摊高频根故障：暂存利用率参数错误(75/120)、调用白名单外工具(42/120)、缺少数据库回读(24/120)。
生产效率分摊高频根故障：计算工具入参错误(73/120)、总成本计算错误(40/120)、K8s查询过滤应用(38/120)、EC2查询过滤应用(31/120)。

7.2 管控框架与规格变体交互效应

收益分摊任务变体敏感性受harness强烈影响：

Claude Code：GPT‑5.6‑Sol对MD/TXT变体鲁棒；Opus、Sonnet对变体高度敏感；
Codex框架：Sonnet‑4.6鲁棒，GPT‑5.6‑Sol、Opus‑4.8变体敏感度极高。

生产效率分摊整体gap更小；bootstrap差分‑差分区间：

收益分摊GPT、Opus、Sonnet、生产效率GPT：区间不含0，交互效应显著；
生产效率Opus、Sonnet区间包含零，结论不显著。

关键工程启示：在一套管控框架上验证通过的技能规格，迁移到另一个harness之后必须重新完整评估；不能假设规格效果可以直接迁移。

7.3 成本与运行时

全部240次实验总观测成本 $859.34；单轮均值$ 3.58，中位数$1.23。

Claude Code整体成本显著低于Codex，主要来自Claude系列大量缓存命中。详见论文附录B。

8 讨论

8.1 模板测试用例：企业智能体的CI/CD单元测试

带运行时占位符的模板测试套件，可以类比传统软件工程单元测试。技能spec修改、模型升级、工具API变更，同一套模板可以直接重新运行，快速暴露流程层面回归。

关键点：占位符在评估时刻从实时API真值解析，不是写死在测试脚本。

限制：无法测试工具API发生语义彻底变更的场景；本论文没有做长期持续API迭代下的纵向验证，属于未来工作。测试报告可以作为合并门禁，但是本文没有评估真实生产合并、故障修复效果。

8.2 评估框架反向暴露规格文档缺口

评估告警暴露出EC2内存‑成本分摊逻辑、DB回读顺序、EC2调用作用域等隐含策略选择。持续评估不仅用来检测回归，也可以辅助完善技能规格文档。

告警不等于一定是bug；需要业务专家区分：真实缺陷、良性等价实现、spec本身存在歧义。

8.3 规格修订敏感性依赖管控框架

实验观察到：同一个技能规格修改，在不同harness、不同模型上效果完全反转。因为MD/TXT同时改变内容、长度、细节，本实验不能把现象单纯归因为文本格式差异。迁移管控框架，整套技能必须重评估。

8.4 输出结果正确 ≠ 流程合规

即便全部数值、扩展最终状态全部校验通过，依然大量样本存在轨迹流程违规。偏差来源多种多样；具体偏差的业务严重程度需要业务领域专家判定。流程回归测试可以有效补充纯结果评估的不足。

9 结论

240次全自动实验显示：175组全部通过最终数值结果校验的运行中，162组存在流程评估检测到的行为偏差；扩大到7项最终状态校验，164组通过的样本里，依然151组存在轨迹违规。依赖归因将单轮平均6.34项失败压缩到2.65项根故障。

实验证明流程级回归测试可以有效补充最终结果评估；模板测试用例可跨配置复用；同时技能行为对模型、管控框架、规格修改存在复杂交互；企业智能体技能发生演进变更时，必须做完整重评估。

附录要点（精简）

附录A 局限性

仅评估企业系统内两套BVD相关技能；推广到其他技能、工具集、非数值输出任务还需要进一步验证。
每个单元格仅10次重复；小效应统计效力有限；部分对比bootstrap区间包含零。
MD/TXT是完整规格变体实验，不是单纯文件格式控制实验；同时修改内容、篇幅、业务逻辑；观测gap不能完全归因于格式。
综合套件得分混合不同严重程度检查，不编码故障严重等级；依赖关联检查非统计独立。
执行噪声：240次实验中83次存在至少一次工具或harness错误；Codex不可恢复错误显著更多；本论文采用意向‑to‑evaluate全部保留样本；未来工作建议预先注册重试/排除规则。
LLM评判器仅小样本人工复核；评判器本身也是被测模型之一，存在偏好偏差风险。
实时API真值会发生漂移；理想方案保存API返回快照做评估基准。
本框架只能诊断故障，不会自动修复故障。
实验没有开展真实长期API持续迭代的纵向验证。

附录B 成本、运行时详细数据表

详见原始论文表格3、表格4；Claude Code缓存命中率高，大幅降低token开销；Codex几乎无缓存。