论文阅读:arxiv 2026 A Trajectory-Based Safety Audit of Clawdbot (OpenClaw)

总目录 大模型安全研究论文整理 2026年版:https://blog.csdn.net/WhiffeYF/article/details/159047894

https://arxiv.org/abs/2602.14364

该论文《A Trajectory-Based Safety Audit of Clawdbot (OpenClaw)》由上海科技大学与上海人工智能实验室的研究者联合完成,发表于arXiv 2026。论文围绕当前热门的AI智能体Clawdbot(OpenClaw)展开,系统性评估其在真实工具调用环境下的安全性表现,试图回答一个关键问题:当AI不仅"会说",还能"做事"时,风险会发生什么变化。

该论文的核心贡献在于提出了一种"轨迹级安全评估方法"。不同于只看最终输出是否正确,该论文记录AI从接收指令到调用工具再到完成任务的完整过程(即"轨迹"),并从六个维度进行分析,包括幻觉、误解意图、越权操作、提示注入等。研究发现,OpenClaw在明确任务中表现稳定,但一旦任务模糊或存在诱导,其安全性会明显下降,甚至产生不可逆的现实影响(如删除文件、误发信息等)。

该论文提出的方法可以简单理解为:不仅看AI"说了什么",更要看它"怎么一步步做到的"。举个例子,如果让AI"清理文件夹",传统评估只看结果是否合理;而该方法会检查:AI是否误解"清理"的含义?是否删除了重要文件?是否在不确定时主动询问?这就像审计一个员工,不只看结果,还要复盘整个操作流程,从而发现潜在风险点。

进一步地,该论文通过34个测试案例发现一个关键问题:AI在模糊指令下几乎100%会做出错误假设并执行高风险操作。例如,当用户只说"清理数据",AI可能直接删除关键文件;又如在"保护环境"这种抽象任务中,AI甚至误将"环境"理解为本地文件环境并进行删除操作。这种"过度执行"正是智能体区别于普通聊天模型的核心风险。

此外,该论文还揭示了另一类隐蔽风险:包装良好的攻击指令(jailbreak)。例如,让AI以"银行员工"身份发送带有虚假理由的消息,AI可能会配合生成欺骗性内容。这说明在具备工具能力后,AI不仅会被误导,还可能被利用进行现实世界中的社会工程攻击。

总体来看,该论文强调:对于具备执行能力的AI智能体,安全不再是"输出质量问题",而是"系统可靠性问题"。一旦出错,代价可能不可逆。因此,作者建议采用沙箱隔离、权限限制、关键操作确认等多重防护机制。

相关推荐
m4Rk_2 天前
【论文阅读】Agent 记忆机制(45):ReMemR1——让长期上下文 Agent 可以回溯历史记忆进行非线性推理
论文阅读·人工智能·学习·开源·github
m4Rk_4 天前
【论文阅读】Agent 记忆机制(43):Mem²Evolve——让经验与能力在双记忆中共同进化
论文阅读·人工智能·学习·开源·github
m4Rk_6 天前
【论文阅读】Agent 记忆机制(41):Agentic Plan Caching——将历史执行轨迹转化为可复用的计划记忆
论文阅读·人工智能·学习·开源·github
m4Rk_6 天前
【论文阅读】Agent 记忆机制(40):HiAgent——通过子目标级记忆提升长程任务执行能力
论文阅读·人工智能·学习·开源·github
、达西先生7 天前
Hand Visibility Detector 论文解读
论文阅读·姿态识别·视觉估计
柳叶方舟7 天前
Nature Medicine IF=50.0 | 公众医疗助手LLM可靠性存隐忧:真人交互表现未优于对照组,现有评估基准失效
论文阅读·人工智能·深度学习·交互·健康医疗
Capricorn19888 天前
知芽研究问题看板无法推进?从孵化区到笔记的机制排查指南
大数据·论文阅读·人工智能·笔记·学习方法·论文笔记
m4Rk_9 天前
【论文阅读】Agent 记忆机制(38):AMA——用多智能体协作动态选择记忆粒度
论文阅读·人工智能·学习
m4Rk_12 天前
【论文阅读】Agent 记忆机制(35):MAGMA——用多关系图与意图路由实现结构化长期记忆检索
论文阅读·人工智能·学习·开源·github
m4Rk_13 天前
【论文阅读】Agent 记忆机制(34):MemoryBank——用遗忘曲线管理可强化的长期对话记忆
论文阅读·人工智能·学习·开源·github