1. 核心问题与动机
随着大型语言模型（LLM/LMM）驱动的通用网页代理（Generalist Web Agents）快速发展（如 SeeAct 框架），这些代理能够自主在真实网站上执行複杂任务，例如订机票、购物或填写表单，大幅提升生产力。然而，许多任务涉及用户个人可识别资讯（PII），如电子邮件、电话、信用卡号码、收件人姓名等。
传统网页安全已广泛研究网站本身的隐私风险，但忽略了「代理在对抗环境中操作」的新情境。当代理依赖截图（screenshot）和 HTML 作为观测输入时，若网站被妥协（compromised），代理可能无意中将敏感资讯洩露给恶意元素，而用户与开发者难以察觉。
论文动机 ：填补这一研究空白，首次系统性探讨通用网页代理在对抗性网页环境下的隐私风险。作者提出现实威胁模型，假设攻击者无需知晓用户具体任务或先前动作，只需根据网站功能注入恶意内容，且攻击不能明显干扰代理完成用户任务（否则易被发现）。这反映真实攻击情境：开发者使用受汙染的第三方库，或恶意开发者故意注入。
核心挑战包括：如何让注入内容「适应环境」（environmentally adaptive），同时保持隐蔽性（stealthiness），并针对代理的两阶段决策过程（action generation 与 action grounding）生效。
2. 结果与成果
论文提出Environmental Injection Attack (EIA)，透过在良性网页 HTML 中注入适应性恶意元素，诱导代理将 PII 输入恶意栏位并自动提交。
主要注入策略：
- Form Injection (FI)：插入新表单，指令置于文字或 aria-label 等属性。
- Mirror Injection (MI)：複製目标元素（e.g., 输入框），在属性中嵌入说服性指令，使其极度类似原生元素。
- 使用 CSS
opacity=0预设隐藏（Relaxed-EIA 放宽至低非零值以影响 action generation）。 - JavaScript 自动提交机制：监测输入后延迟提交并移除元素，维持代理正常流程。
实验设定：
- 目标代理：SeeAct（SOTA 两阶段框架，使用 GPT-4V、LLaVA 等 backbone）。
- 资料集：从 Mind2Web 选取 177 个涉及 PII 的动作步骤，手动适配真实网站快照，涵盖多种 PII 类别与领域。
- 评估指标：Attack Success Rate (ASR)，以元素选择正确且输入值相似度 >0.95 为成功；同时追踪代理功能完整性（不影响后续任务）。
关键成果：
- 特定 PII 洩露 ：MI 策略在接近目标元素位置注入时，GPT-4V 上 ASR 高达 70%；不同 backbone 与位置有明显差异，靠近目标位置效果最佳。
- 完整用户请求洩露 ：标准 EIA (opacity=0) 对 action generation 无效（ASR=0%），但 Relaxed-EIA 可达 16% ASR。
- 侦测性低：VirusTotal 等传统工具难以侦测；额外防禦性 system prompt 无效；代理任务成功率几乎不受影响。
- 攻击具可扩展性，GitHub 提供注入与评估脚本，支援自动化注入与多模型测试。
这些结果证明 EIA 在现实网页环境中具高度可行性，尤其对视觉与 HTML 混合输入的代理构成严重威胁。
3. 分析与洞见
多角度分析：
- 技术洞见：EIA 本质是**间接提示注入（Indirect Prompt Injection）**的环境适应版本，重点不在提示工程，而在「环境操纵」------利用 DOM 结构、CSS/JS 特性与代理决策阶段差异（action generation 主要依赖截图，grounding 依赖 HTML）。Mirror Injection 特别有效，因为它「镜像」原生元素，降低代理区分能力。
- 位置与适应性：注入位置相对目标元素（P0）的 DOM 层级影响重大；自动化注入可能引入空白空间，但攻击者额外努力可实现视觉上完全一致，绕过人工检查。
- 侦测与防禦权衡：零 opacity 攻击隐蔽但功能有限；放宽 opacity 提升 ASR 但增加可见风险。人工监督面临「安全 vs. 自主性」权衡，且对不同任务类型难以规模化。传统防禦（如 malware scanning）失效，凸显需新型网站前/后部署防护（如输入验证、代理端沙箱、行为监控）。
- 边缘案例与意涵：攻击不破坏任务完整性（post-attack success rate 高），增加隐蔽性；对开放原始码库汙染或供应链攻击特别相关。对未来代理部署意味着：依赖截图的视觉代理仍脆弱，需多模态防禦与使用者教育。
- 相关工作比较：不同于白盒后门或影像操纵攻击，EIA 更现实（黑盒、环境注入），且首次聚焦隐私而非功能破坏。适用于其他使用截图/HTML 的代理。
更广泛意涵：AI 代理自主性提升带来便利，却放大攻击面。随着代理普及，网站供应链安全与代理鲁棒性将成关键议题。论文呼吁社群发展更先进防禦，而非依赖人类监督。
4. 结论
论文透过 EIA 揭示了通用网页代理在对抗环境下的重大隐私漏洞，证明即使隐形注入也能以高成功率窃取 PII 或完整请求，且难以侦测与缓解。这不仅是技术展示，更是对 AI 代理安全设计的警钟。
未来方向：强化代理多阶段防护、网站端动态验证、供应链安全审计，以及探索跨平台（e.g., 行动 GUI 代理）的类似攻击。研究者与开发者应优先考虑「环境适应攻击」这一新威胁类别，在追求自主性的同时平衡安全性。
文章连结：