The Emerged Security and Privacy of LLM Agent: A Survey (F. He et al., ACM 2025)
核心问题与动机
LLM Agent（大型语言模型代理）基于 GPT-4、Claude 等 LLM 作为核心引擎，能够执行複杂任务、工具调用、自主决策与多代理协作，已广泛应用于虚拟助理、客户服务、教育、财务、医疗等领域，甚至模拟真实社群互动（如论文中的像素化虚拟小镇案例）。然而，其商业价值与广泛部署也使其成为攻击者的主要目标。
核心问题
- 继承自 LLM 的威胁：幻觉（Hallucination）、灾难性遗忘（Catastrophic Forgetting）、误解（Misunderstanding）等技术漏洞，以及越狱（Jailbreaking）、提示注入（Prompt Injection）、资料提取（Data Extraction）、推理攻击等恶意攻击。
- Agent 特有威胁：基于代理感知-思考-行动（Perception-Thought-Action）工作流程，分为知识中毒（Knowledge Poisoning）、输出操纵（Output Manipulation）与功能操纵（Functional Manipulation）。这些威胁会透过工具使用、记忆更新与环境互动产生连锁效应，远超传统 ML 模型的单一预测错误。
动机
现有 LLM 安全研究多聚焦基础模型，缺乏针对 Agent 动态性、工具整合与多代理互动的全面分析。SafeAgentBench 等基准测试显示，多数 Agent 安全分数低于 60%，甚至低于 20%，凸显迫切需求。
本调查旨在系统分类威胁、分析影响、检视防禦，并为未来多模态与多代理系统提供指引，促进可靠 AGI 发展。
论文透过结构化框架（定义、结构、工作流程、能力） 、威胁分类 、影响分析 、防禦策略 与未来趋势，结合多个虚拟小镇案例，提供可操作洞见，非常适合专案实务参考。
结果／成果
- 全面分类框架：清晰区分继承威胁与 Agent 特有威胁，并对应代理组件（LLM Engine、Instruction、Interface、Tools、Knowledge、Memory）。提供丰富案例研究（如医疗、财务、商店、办公室、餐厅情境），让抽象威胁具体化。
- 影响分析 ：系统探讨对人类 （隐私洩露、安全风险、社会影响、降低网路攻击门槛）、环境 （资料篡改、物理安全、网路风险扩散）与其他代理（资讯失真、决策操纵、社群安全威胁）的多层面冲击，强调连锁与扩散效应。
- 防禦策略综述：涵盖缓解技术漏洞（如 SELF-FAMILIARITY 减轻幻觉）、对抗恶意攻击，以及针对特定 Agent 威胁的措施。虽然细节因篇幅未全展开，但提供实务方向。
- 未来趋势：讨论多模态 LLM Agent（MLLM）与 LLM 多代理系统（LLM-MA）的安全隐私议题，包含具身代理（Embodied Agents）与真实世界互动风险，并提出研究空白与发展方向。
整体成果为研究者与开发者提供结构化地图，量化显示 Agent 安全现况不足，同时纳入案例提升可读性与应用性。
分析与洞见
多角度分析
- 技术 vs. 应用视角 ：传统 ML 安全聚焦预测准确性，LLM Agent 则因生成能力、工具使用与自主循环，产生「级联效应」（cascading effects），可能导致真实世界后果（如财务损失、物理危害）。知识中毒可能在多代理社群中「爆炸式传播」误资讯。
- 隐私与安全交织：Agent 需处理大量个人/环境资料，记忆与工具功能放大洩露风险；同时，功能操纵可让 Agent 执行未经授权操作（如第三方资料窃取或恶意程式执行）。
- 边缘案例与细微差别：细调（Fine-tuning）可能引发灾难性遗忘；多轮互动加剧误解；具身代理引入物理安全新维度。论文强调「看似可信的外表」如何被滥用进行社会工程或意见操纵。
- 社会-伦理意涵：降低攻击门槛可能民主化网路犯罪；多代理系统若失控，可能影响虚拟社群信任与协作，甚至映射到现实治理。
- 专案实务洞见：开发者应优先整合 Memory 保护、工具权限控制与持续监测；评估时参考 AgentBench/SafeAgentBench 等基准；部署时考虑沙箱、提示工程与人类监督。对于 GitHub 专案，可将此论文作为安全章节基础，实作案例研究中的防禦原型。
局限
作为早期调查，部分防禦细节与最新 2025--2026 攻击可能需补充；多模态与具身代理部分仍处于趋势讨论阶段。
结论
论文强调 LLM Agent 虽具巨大潜力，但安全与隐私挑战已「新兴」且迫切，需跨领域合作（研究者、开发者、政策制定者）才能平衡创新与风险。
透过系统分类、影响剖析、防禦检视与未来展望，本调查不仅填补研究空白，更提供实务指引，助力建构更可靠、可信的 Agent 系统。最终目标是推动负责任的 AGI 发展，让 Agent 在各领域安全落地。
文章连结：
- arXiv：https://arxiv.org/abs/2407.19354 （或 PDF：https://arxiv.org/pdf/2407.19354）
- ACM 正式版：https://dl.acm.org/doi/10.1145/3773080 （2025 年发表于 ACM Computing Surveys）