VFM:让 Agent 同时接受上千条自然语言规则的运行时检查

一个生产 Agent 可能同时受到多少条规则约束?

不只是三五条安全提示。系统 Prompt、企业制度、行业规范、用户要求和工具调用条件叠加后,约束可能达到数百甚至数千条。

常见做法是把规则全部塞进 Prompt,希望 Agent 自觉遵守;或者再调用一个大模型 Judge,让它判断整段轨迹是否违规。前者会随着规则增多而遗忘,后者通常只能给出一个总体结论。如果要求 Judge 对 1000 条规则逐条解释,成本和延迟又会迅速上升。

2026 年 11 月 17 日提交、已被 NeurIPS 2026 接收的论文《Runtime Verification of Multiple Natural Language Criteria for Agent Governance》,提出了 Verifier Foundation Model(VFM):共享上下文只编码一次,让大量规则分别从同一上下文分叉,并行输出每条规则的判定。论文原文

论文最吸引人的结果是:VFM-4B 在单张 H100 上,用约 1.81 秒检查 4K token 上下文中的 1000 条规则,峰值显存约 10.5 GB。

但这篇论文同样给出了醒目的反例:在真实保险通话数据上,最好的微调验证器仍把约 20% 的真实违规判成通过。因此,VFM 当前更像高吞吐量的监控器和分流器,而不是可以单独决定放行的"AI 法官"。

本文所有模型效果和性能数字均来自论文作者报告,不是本文独立复现。论文代码仓库已经给出模型、数据和评测入口,但完整复现实验仍需要相应 GPU 与数据准备。VFM GitHub

1. 它要解决的不是单规则分类

传统安全分类器通常在训练时固定类别,例如暴力、仇恨、色情。它们速度快,却不适合临时加入一条业务规则:

如果用户没有确认订单编号,是否避免执行退款?

通用 LLM Judge 能接受这条自然语言规则,但当规则数量变成 1000 条时,通常面临两个选择:

  • 每条规则调用一次 Judge:共享上下文被重复编码 1000 次;
  • 一次性让 Judge 输出 1000 个结论:输出长度随规则数增加,而且规则之间可能相互影响。

VFM 定义的输入是:

text 复制代码
context:系统提示、历史对话、工具结果等
target:Agent 新生成的回答、工具调用或动作
criteria:N 条原子化自然语言规则

每条规则都被写成一个可以从轨迹中判断的正向 yes/no 问题,例如:

text 复制代码
回答是否说明了所依据的法规?
回答是否避免承诺确定的投资收益?
在执行删除前,用户是否已经明确确认?

输出不是单个 PASS/FAIL,而是每条规则各自的三分类概率:

text 复制代码
YES:规则得到满足
NO:规则遭到违反
N/A:规则不适用,或仅凭当前轨迹无法判断

这个细节很重要。没有发生删除操作时,"删除前是否确认"不应简单判成违反;它可能根本不适用。

2. 核心结构:上下文是一根树干,规则是分支

假设上下文与目标文本共有 L 个 token,第 i 条规则有 K_i 个 token。VFM 把它们放进同一个序列:

text 复制代码
[context + target] [criterion 1] [criterion 2] ... [criterion N]
       树干              分支 1         分支 2            分支 N

Tree Attention Mask 规定:

  • 上下文只关注上下文,不读取后面的规则;
  • 每条规则可以完整读取共享上下文;
  • 一条规则看不到其他规则;
  • 每个规则分支从相同位置编号开始。

因此,它在功能上相当于把上下文的 KV Cache 只计算一次,再让 N 条规则复用这份前缀。分类头读取每个规则块的最后一个 token,输出 YES / NO / N/A。

规则之间被结构性隔离后,论文声称两个性质由架构保证:

  1. 改变规则顺序,不应改变各自判定;
  2. 增加其他规则,不应改变已有规则的判定。

这和把 1000 条规则一起交给生成式 Judge 有本质差别:后者可能因为规则排列和相互提示而改变输出。

3. 为什么还要分块处理

如果直接构建完整的稠密注意力矩阵,复杂度会随总序列长度平方增长:

text 复制代码
O((L + ΣK_i)²)

1000 条规则全部塞进一个稠密矩阵仍然会爆显存。VFM 使用 chunked tree attention,每次处理固定数量的规则分支,同时复用缓存的上下文前缀。峰值内存近似变成:

text 复制代码
O((L + B × K)²)

其中 B 是每个分块的规则数。官方代码默认 chunk_size=64。这样规则总数继续增长时,运行时间会上升,但峰值显存基本由前缀和单个分块决定。

4. CriteriaBank:先学会"按规则判断"

作者构建了 CriteriaBank,用于让模型学习开放式、规则条件化的验证。论文表 2 的数据组成如下:

数据流 作用 元组数 不同规则数
A:合成 扩展规则覆盖 33,657 2,625
B:真实对话蒸馏 提供真实用户与模型场景 245,615 237,471
C:定向补缺 工具、纠错、商业场景 37,926 35,018
C+:多轮对话 增加多轮上下文 55,662 46,884
D:安全 覆盖安全分类规则 20,671 2,204
合计 393,531 321,419

数据格式是 (context, target, criterion, verdict)。作者以 Qwen3-0.6B 和 Qwen3-4B 为骨干,加入三分类头,再进行 CriteriaBank 预训练与下游微调。

这里必须看到数据质量边界:CriteriaBank 标签全部由模型生成。作者使用两个不同模型独立标注,冲突时交给第三个模型裁决;在 75 条盲审样本中,69 条可评分记录与人类多数意见的一致率为 88.4%。这说明数据经过审计,但不能把模型生成标签等同于人工真值。

5. 实验结果应该怎样读

5.1 合成治理基准:4B 模型超过 GPT-5.4

作者从 EU AI Act、GDPR、SEC Regulation Best Interest、HIPAA 和 PCI-DSS 中整理了 52 条规则,构建合成治理数据。

模型 测试准确率 跨法规迁移准确率
Direct-FT-4B 88.2 ± 2.0 75.3 ± 1.1
VFM-4B 88.8 ± 1.1 77.7 ± 0.8
GPT-5.4(low reason) 83.9 75.5

在这组作者构造的合成基准上,VFM-4B 的准确率高于 GPT-5.4。但它不能被解读成"4B 模型普遍比 GPT-5.4 更会判断合规":数据集是合成的,VFM 经过任务微调,GPT-5.4 是单次基线,而且整体测试交互数量有限。

5.2 DynaBench:定位规则比单一总分更有价值

DynaBench 包含 543 条多轮对话,每条轨迹平均约 14 条规则,最多 92 条。只要违反任意规则,整条轨迹就是 FAIL。

方法 FAIL F1
DynaGuard-4B 0.720
DynaGuard-8B 0.731
VFM-4B 0.885 ± 0.011
Gemma-4-26B(原始规则) 0.922 ± 0.006
VFM 筛 Top-3 → Gemma-4-26B 0.946 ± 0.005

VFM 并没有单独击败更大的 26B Gemma Judge,但它在失败轨迹中把真正违规的规则排在第一位的比例达到 97.6%,排进前三的比例达到 100%。

这让一个更实用的级联方案成为可能:

text 复制代码
大量规则 → VFM 快速逐条打分
                   ↓
            取最可疑的 3 条
                   ↓
        大模型 Judge 深度推理与解释

大模型不必重新阅读全部规则,只处理 VFM 筛出的高风险项。论文还报告,若只把最不确定的 25% 轨迹升级给 Gemma,FAIL F1 从 VFM 单独使用时的约 0.893 提升到约 0.928;全部升级时达到 0.946。不过 25% 这个比例没有在独立开发集上预先选择,不能视为已经调好的生产阈值。

5.3 真实保险通话揭示了危险上限

INSURE-Dial 使用 50 通真实保险福利核验电话,共形成 417 条测试规则。VFM-4B 微调后准确率为 86.5 ± 1.6,但 CriteriaBank 预训练在这里没有带来优势,Direct-FT-4B 反而达到 87.0 ± 0.3。

更值得警惕的是违规检测:VFM-4B 对真实通话的违规精确率、召回率和 F1 分别为 82.4 / 75.1 / 78.6,把 19.4% 的真实违规判成了通过,而且不少错误具有高置信度。

这正是为什么作者在论文结论中明确表示:当前 VFM 更适合 monitoring and escalation,而不是 standalone enforcement。

6. 1000 条规则、1.81 秒意味着什么

论文在单张 H100 80GB、bf16、Hugging Face Transformers 环境中测量延迟。每条规则长度为 32 token,数字是 5 次运行的中位数。

VFM-4B 的结果为:

共享前缀 规则数 延迟 峰值显存
约 1K token 100 147 ms 8.8 GB
约 1K token 1000 1,223 ms 8.8 GB
约 4K token 100 279 ms 10.5 GB
约 4K token 1000 1,807 ms 10.5 GB

论文的同环境 llm-prefix 基线在 4K 前缀、1000 条规则时估算为 6,813 ms,峰值显存 78 GB。VFM 的优势主要来自前缀只编码一次和分块处理,而不是"4B 模型突然拥有了更强的通用推理能力"。

还要注意三个限定词:

  • 硬件是 H100,不是消费级显卡;
  • 上下文约 4K token,不代表 32K 或 128K 长轨迹;
  • 规则平均按 32 token 测量,官方实现给每条规则的块长有限,过长规则会被截断。

所以"低于 2 秒检查 1000 条规则"是真实的论文条件结果,不是所有部署环境的普遍承诺。

7. 一个更合理的 Agent 治理架构

VFM 不应该直接代替确定性权限控制。更合适的位置是语义监控层:

text 复制代码
Agent 提议回答或工具调用
            ↓
确定性策略:权限、Schema、额度、危险操作确认
            ↓
VFM:并行检查大量自然语言规则
            ↓
低风险 ─────────────→ 执行 / 返回
可疑或 N/A → 强 Judge / 人工复核 / 阻断
            ↓
记录规则级概率、策略版本与最终处置

确定性规则适合"tenant_id 必须相同""金额不得超过额度"这类可以精确编码的条件;VFM 适合"是否作出误导性承诺""是否充分解释风险"这类语言语义判断。

把两者颠倒会带来严重问题:能用普通代码保证的权限边界,不应交给概率模型猜测。

8. 真正困难的是把政策拆成可验证规则

VFM 接受任意自然语言规则,并不意味着任意政策文本都能直接输入。

好的规则应当:

  • 原子化:一次只判断一个性质;
  • 正向表达:YES 表示满足,而不是混用双重否定;
  • 可以从当前轨迹判断;
  • 明确适用前提。

下面这条太宽泛:

text 复制代码
回答是否遵守所有相关金融法规?

模型无法仅凭轨迹知道"所有相关法规"。更好的拆分可能是:

text 复制代码
回答是否避免保证投资收益?
回答是否披露投资可能损失本金?
如果给出个性化建议,回答是否询问用户的风险承受能力?

论文中的 DynaBench 也先用 GPT-5.4 把声明式规则转换成原子问题,平均每条原规则生成 1.52 个问题。作者明确承认,自动拆解和验证复杂规范仍是未来工作。换句话说,VFM 提高了"检查规则"的吞吐量,但没有自动解决"规则写得对不对、覆盖够不够"。

9. 目前不能忽略的限制

论文作者列出的限制很直接:

  1. 真实场景误放行仍高。 INSURE-Dial 中约五分之一违规被判通过;
  2. 训练标签由模型生成。 标签错误会传递给验证器;
  3. 核心治理基准是合成数据。 人工验证只有 75 条共同作者审计,不是独立的大规模合规研究;
  4. 规则被假设为正向、原子、相互独立。 VFM 不建模规则之间的依赖关系;
  5. 对抗鲁棒性未知。 尚未测试专门针对验证器优化的 Agent;
  6. 只评测英文与文本。 多语言、图像、音频和真实工具状态尚未验证;
  7. N/A 合并了两类情况。 "不适用"和"信息不足"都进入 N/A,但生产处置可能完全不同;
  8. 开源不等于已复现。 官方仓库提供权重、数据链接与脚本,本文没有重新训练或复跑论文全部表格。

10. 我认为它真正前沿的地方

VFM 的价值不是又做了一个安全分类器,而是把 Agent 治理的输出粒度从:

text 复制代码
这条轨迹是否安全?

推进到:

text 复制代码
这 1000 条可变规则中,哪些满足、哪些违反、哪些无法判断?

规则级结果可以支持审计、告警、统计和聚焦升级;tree attention 则让这个粒度在运行时具备可接受的计算成本。

但它没有消除治理中最难的三件事:把政策正确拆解成规则、发现高置信度误判、决定误判后由谁承担风险。

因此,更准确的结论不是"VFM 让 Agent 自动守法",而是:它让大规模自然语言规则第一次有机会成为可逐条记录、可定位、可升级的运行时信号。

参考资料

相关推荐
我si绝版17 分钟前
OpenClaw 安装步骤
人工智能
Seiran20 分钟前
用Grok 4.7在ZEEKEAI啃长文档的提效实战
人工智能
Bacon23 分钟前
给项目做一次"全身 CT":Agent Skills 生态里的代码体检全链路
前端·人工智能·后端
培培说证25 分钟前
大专商务数据分析与应用可以报考哪些职业证书?
人工智能·数据挖掘·数据分析
pursuit_c28 分钟前
关于 Personal Agent 的思考碎片
人工智能
龙腾AI白云34 分钟前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
snakeshe101041 分钟前
大模型 Function Call 实战入门:原理、环境搭建与多轮调用完整教程
人工智能
用户3600555790043 分钟前
Kestrel_VLLM - 43 · 默认化前的一次解耦:一个遮蔽 bug 与一次口径污染
人工智能
狒狒AI1 小时前
DeepSeek Harness 插件生态拆解:31,259 个仓库与 93% 装不上的口径差
人工智能