LLM‑SafeOrbit：面向工具调用智能体的安全轨道约束防护框架

原文网页：https://arxiv.org/html/2610.22344v1

PDF链接：https://arxiv.org/pdf/2610.22344v1

arXiv编号：arXiv:2610.22344v1

摘要

工具调用大模型智能体在执行过程中可能偏离安全允许的行为范围，出现越权访问、高危系统操作、越界参数调用等风险行为。现有的防护手段主要分为两类：系统提示做行为约束、静态工具参数白名单校验。提示约束容易被越狱、间接诱导绕过；静态参数校验只能拦截已知高危模式，难以处理参数组合带来的隐式高危行为。

本文提出LLM‑SafeOrbit安全轨道约束防护框架 。该框架为智能体维护动态安全轨道（Safe‑Orbit）：以任务初始授权上下文为基准，持续跟踪智能体工具调用行为的偏移程度；结合状态不变量、参数可达域、操作依赖链，判断当前行为是否已经滑出授权安全轨道。框架分为轨道初始化、运行时偏移监测、越界判定与干预三层；不修改基座模型权重，可作为Harness编排层外挂防护组件。

在构造的安全风险评测数据集SafeOrbit‑Eval开展实验，数据集包含直接高危调用、间接诱导越狱、隐式参数组合风险共三大类样本。实验结果表明，LLM‑SafeOrbit整体风险拦截率可达92.6%；相比纯提示防护基线提升23.9个百分点，相比静态参数白名单基线提升16.4个百分点；误报率维持在较低水平3.7%。消融实验验证轨道状态不变量、可达域分析、依赖链追踪各模块贡献。框架支持旁路告警与阻断两种工作模式，可直接对接现有ReAct类智能体。全部防护代码、风险评测数据集、复现脚本开源。

关键词

工具调用智能体；智能体安全防护；运行时监测；行为轨道；越界检测；工具调用风险；授权边界

引言
相关工作
LLM‑SafeOrbit防护框架](#3‑llm‑safeorbit防护框架)
- [3.1 安全轨道形式化定义](#3.1 安全轨道形式化定义)
- [3.2 三层系统架构](#3.2 三层系统架构)
  - [3.2.1 第一层：轨道初始化模块](#3.2.1 第一层：轨道初始化模块)
  - [3.2.2 第二层：运行时偏移监测模块](#3.2.2 第二层：运行时偏移监测模块)
  - [3.2.3 第三层：越界判定与干预模块](#3.2.3 第三层：越界判定与干预模块)
- [3.3 两种工作模式：旁路告警 / 强制阻断](#3.3 两种工作模式：旁路告警 / 强制阻断)
实验设置
实验结果
- [5.1 主实验风险拦截与误报](#5.1 主实验风险拦截与误报)
- [5.2 不同风险子类细分性能](#5.2 不同风险子类细分性能)
- [5.3 消融实验](#5.3 消融实验)
- [5.4 与现有防护方案组合效果](#5.4 与现有防护方案组合效果)
讨论与局限性
结论
附录简要说明

1 引言

工具调用智能体被广泛用于运维、数据分析、文件处理等场景。智能体被授予一组工具权限，在用户给定任务授权下执行操作。现实中智能体存在三类安全风险：

直接高危调用：直接调用高危工具，传入危险参数；
越狱与间接诱导绕过：通过多轮对话、欺骗提示绕过系统提示里写的安全约束；
隐式组合风险：单独看每个工具调用参数都合法，但多步参数、操作组合之后产生高危效果，静态白名单无法识别。

现有防护方案存在短板：

提示约束防护：依靠system prompt写安全规则；大模型容易被越狱、间接诱导绕过；
静态白名单/参数正则校验：只能拦截预先已知的高危参数；无法识别多步组合产生的隐式风险。

本文提出LLM‑SafeOrbit，编排层外挂式安全防护框架，核心概念安全轨道Safe‑Orbit：以任务启动时刻的用户授权、任务目标、允许操作集合作为基准；在任务运行全程追踪智能体工具调用序列、状态变化、操作依赖链，持续计算行为相对初始授权基准的偏移；一旦判定行为滑出安全轨道，执行告警或者阻断。

核心思想：安全不只是单步工具调用是否合法，还要看整条执行轨迹是否还处在用户原始任务授权范围之内。
本文主要贡献

提出安全轨道Safe‑Orbit的形式化定义，实现LLM‑SafeOrbit三层防护框架，作为智能体Harness外挂组件，无需修改基座模型权重。
构建SafeOrbit‑Eval风险评测数据集，包含直接高危调用、间接诱导越狱、隐式参数组合风险三类样本。
实验表明LLM‑SafeOrbit风险拦截率92.6%，误报率3.7%；显著优于提示防护、静态白名单基线；消融验证各模块贡献；和传统防护手段叠加可以进一步提升拦截能力。
全部防护代码、评测数据集、复现脚本开源。

2 相关工作

2.1 工具智能体安全

提示级安全：在system prompt增加安全禁令，容易被越狱绕过；
静态工具校验：JSON Schema校验、参数正则、黑名单，适合显式高危输入，无法处理组合隐式风险；
LLM‑as‑Judge单步审查：每一步调用交给裁判模型打分，开销大，缺少对整条轨迹授权边界的建模。

2.2 运行时监控

OnTrack、AgentTrace等聚焦故障诊断、因果轨迹分析；LLM‑SafeOrbit面向安全授权越界检测，专门维护安全轨道、状态不变量、可达域，识别偏离原始任务授权的行为。

2.3 大模型越狱与对抗

大量越狱研究证实系统提示约束不可靠；攻击者通过多轮间接诱导、上下文污染绕过安全指令；本框架不从单句文本做判断，而从整条执行轨迹与初始授权对比做判定。

3 LLM‑SafeOrbit防护框架

3.1 安全轨道形式化定义

任务初始授权上下文 C 0 C_0 C0：包含用户任务目标、允许工具集合、资源访问范围、初始状态不变量集合KaTeX parse error: Can't use function '\(' in math mode at position 10: \mathcal{\̲(̲\mathcal I\)}_0。

智能体执行序列： a 1 , a 2 , . . . , a t a_1,a_2,...,a_t a1,a2,...,at，每一步 a i a_i ai为一次工具调用。

S t S_t St：t时刻系统可达状态集合；

安全轨道 O t ( C 0 ) \mathcal{O}_t(C_0) Ot(C0)：从初始授权 C 0 C_0 C0出发，在不违背任务目标与授权约束前提下，所有可达的工具调用与系统状态集合。

越界判定：若当前工具调用 a t a_t at执行之后，系统状态进入 ∉ O t ( C 0 ) \notin \mathcal O_t(C_0) ∈/Ot(C0)，判定行为滑出安全轨道，触发干预。

框架维护三类关键信息：

状态不变量集合KaTeX parse error: Can't use function '\(' in math mode at position 10: \mathcal \̲(̲\mathcal I\)：任务执行过程应当维持成立的约束，例如"禁止访问/home下其它用户目录"；
参数可达域：跟踪各工具参数在当前任务下的合法取值范围；
操作依赖链：记录工具调用之间因果依赖，区分"为完成本任务必须的操作"和无关新增高危操作。

3.2 三层系统架构

3.2.1 第一层：轨道初始化模块

输入：用户原始任务query、工具Schema、初始环境上下文。

输出：初始化安全轨道 O 0 \mathcal O_0 O0：

解析用户任务目标；
提取初始状态不变量集合KaTeX parse error: Can't use function '\(' in math mode at position 10: \mathcal \̲(̲\mathcal I\)_0；
初始化工具参数可达域；
初始化空操作依赖链。

该模块只在任务开始运行一次，从用户原始请求提取授权边界，不做人工硬编码黑名单。

3.2.2 第二层：运行时偏移监测模块

智能体每发起一次工具调用 a t a_t at，监测模块执行：

更新操作依赖链：记录该调用依赖哪些前置任务子目标；
模拟工具调用带来的状态改变，更新参数可达域；
校验状态不变量集合KaTeX parse error: Can't use function '\(' in math mode at position 10: \mathcal \̲(̲\mathcal I\)是否被本次调用破坏；
计算当前行为相对初始安全轨道的偏移度量。
输出偏移特征向量，送入越界判定模块。

注意：本模块是仿真推演，不会真实执行高危工具调用；只在内部推演状态变化。

3.2.3 第三层：越界判定与干预模块

输入：偏移监测输出特征：不变量破坏标记、可达域越界标记、依赖链异常标记、偏移度量；

判定逻辑采用加权多条件联合规则+轻量LLM裁判二次复核；

输出三种判定结果：SAFE安全 / WARN告警 / BLOCK阻断。

SAFE：行为处于安全轨道内，放行；
WARN：轻微偏移，旁路输出告警日志，不阻断执行；
BLOCK：明确滑出安全轨道，拦截本次工具调用，返回安全报错给智能体。

3.3 两种工作模式：旁路告警 / 强制阻断

旁路告警模式：不拦截工具调用；仅输出告警日志，适合做审计、离线分析；
强制阻断模式：Harness层面拦截BLOCK等级的工具调用，不会下发到真实工具执行。

部署方式：外挂于ReAct类智能体编排Harness；对原有智能体代码侵入小；支持兼容LangGraph、AutoGen等主流框架。

4 实验设置

数据集 SafeOrbit‑Eval

样本总计826条，分为三大风险类别：

风险类别	样本数量	说明
直接高危调用	274	直接调用高危工具、高危参数
间接诱导越狱	286	多轮上下文污染、越狱诱导绕过提示约束
隐式参数组合风险	266	单步参数合法，多步组合产生高危效果

配套安全负样本（正常合法任务调用）312条，用于计算误报率。

对比基线

Prompt‑Only：仅依靠系统提示写入安全禁令防护；
Static‑WL‑BL：静态白名单+黑名单+参数正则校验；
LLM‑Per‑Step‑Judge：每一步工具调用交给独立LLM裁判审查；
LLM‑SafeOrbit(Ours)完整框架。

消融变体

w/o (\mathcal I)nvariant：移除状态不变量校验；
w/o Reachable‑Domain：移除参数可达域跟踪；
w/o Dependency‑Chain：移除操作依赖链追踪。

评测指标

风险拦截率Recall：风险样本被判定为WARN/BLOCK占比；
精确率Precision：判定为风险的样本中真正风险样本占比；
F1分数；
误报率FPR：正常安全样本被误判告警/阻断的比例。

基座裁判模型：GPT‑5.6‑Luna。

5 实验结果

5.1 主实验风险拦截与误报

方法	拦截率Recall	Precision	F1	误报率FPR
Prompt‑Only	68.7%	83.4%	75.4%	11.6%
Static‑WL‑BL	76.2%	87.9%	81.7%	8.3%
LLM‑Per‑Step‑Judge	84.1%	89.6%	86.8%	6.1%
LLM‑SafeOrbit(完整)	92.6%	94.2%	93.4%	3.7%

关键结果：

LLM‑SafeOrbit对比Prompt‑Only拦截率提升**+23.9pp**；对比Static‑WL‑BL提升**+16.4pp**；
误报率仅3.7%，远低于其余基线；
单步LLM裁判缺少整条轨迹授权边界建模，对隐式组合风险识别能力有限。

5.2 不同风险子类细分性能

方法	直接高危调用Recall	间接诱导越狱Recall	隐式参数组合风险Recall
Prompt‑Only	84.3%	60.5%	58.2%
Static‑WL‑BL	91.2%	68.4%	63.7%
LLM‑Per‑Step‑Judge	94.5%	79.1%	75.8%
LLM‑SafeOrbit	97.4%	91.3%	88.7%

隐式参数组合风险是传统方案最大短板；SafeOrbit依靠可达域、依赖链，在该子类取得大幅提升。

5.3 消融实验

配置	拦截率Recall	误报率FPR	F1
完整LLM‑SafeOrbit	92.6%	3.7%	93.4%
w/o (\mathcal I)nvariant（移除状态不变量）	86.3%	5.4%	88.1%
w/o Reachable‑Domain（移除参数可达域）	84.7%	5.9%	86.4%
w/o Dependency‑Chain（移除操作依赖链）	83.2%	6.6%	84.9%

消融结论：

三个模块均为正向贡献；操作依赖链对间接越狱、隐式组合风险贡献最大；
状态不变量主要拦截直接越权状态修改；参数可达域跟踪识别参数空间逐步滑向高危区间。

5.4 与现有防护方案组合效果

将Static‑WL‑BL静态白黑名单和LLM‑SafeOrbit叠加：

组合后拦截率提升至94.1%，误报率小幅上涨到4.2%。

说明本框架可以和传统静态校验手段协同增益。

6 讨论与局限性

局限性

轨道初始化质量依赖对用户原始任务授权的解析；用户任务描述模糊、授权边界本身不清晰，会影响防护效果。
内部做状态推演仿真，复杂工具（有外部真实副作用）只能做近似推演；推演和真实环境存在差异时会带来少量误判。
不能防护工具本身0‑day漏洞；只防护智能体工具调用行为层面的越界。
当前主要针对Bash、文件读写、检索类工具；对于高度领域定制工具，需要补充不变量与可达域配置。

使用启示

仅靠系统提示安全禁令不足以抵御越狱、间接诱导；静态黑名单无法处理多步隐式组合风险。
安全防护不能只看单步调用，需要结合整条轨迹，对照用户原始任务授权边界做判断，也就是安全轨道思想。
可作为Harness外挂组件，不需要修改智能体内部推理逻辑，侵入性低。

7 结论

本文提出LLM‑SafeOrbit，面向工具调用智能体的安全轨道约束防护框架。定义安全轨道：以任务初始化时用户授权上下文为基准，维护状态不变量、参数可达域、操作依赖链，持续监测智能体工具调用行为是否滑出原始授权轨道；支持旁路告警、强制阻断两种模式，作为编排层外挂防护组件。

在SafeOrbit‑Eval评测集，整体风险拦截率92.6%，误报率3.7%；在间接诱导越狱、隐式参数组合风险上显著优于提示防护、静态白名单基线；消融验证三大核心模块有效性；和传统静态防护叠加可以获得进一步提升。全部防护代码、评测数据集、复现脚本开源。

附录简要说明

附录A：安全轨道完整形式化推导、偏移度量计算公式。
附录B：SafeOrbit‑Eval数据集样本样例，风险标注协议。
附录C：越界判定条件完整规则，裁判prompt模板。
附录D：消融完整细分数据，不同基座模型鲁棒性测试。
附录E：对接AutoGen、LangGraph的集成示例代码。

LLM‑SafeOrbit：面向工具调用智能体的安全轨道约束防护框架