梭子鱼公司 (Barracuda) 报告了 生成式人工智能如何被用于创建和分发垃圾邮件以及策划极具说服力的网络钓鱼攻击。这些威胁不断演变和升级------但这并非攻击者利用人工智能的唯一方式。
安全研究人员现在发现威胁行为者操纵公司的人工智能工具并篡改其人工智能安全功能以窃取和泄露信息并削弱目标的防御。
针对人工智能助手的电子邮件攻击
人工智能助手和支持其功能的大型语言模型 (LLM) 容易受到滥用。
梭子鱼威胁分析师发现，一些攻击会在看似良性的电子邮件中隐藏恶意提示。这种恶意载荷旨在操纵目标人工智能信息助手的行为。
例如，Microsoft 365 的 AI 助手 Copilot 最近报告并修复了一个 漏洞，该漏洞 可能允许任何人在未经授权的情况下从网络中提取信息。威胁行为者可以利用该漏洞收集并窃取目标的敏感信息。
他们通过利用内部人工智能助手的能力在回答查询或完成任务时查找和整理来自内部电子邮件、消息和文档的上下文数据来实现这一点。
- 首先，攻击者向一名或多名员工发送一封看似无害的电子邮件，其中包含隐藏和嵌入的恶意提示负载。
- 该电子邮件不需要用户进行任何交互，并且可以安全地保存在用户的收件箱中。
- 当员工向AI助手寻求任务或查询帮助时，助手会扫描旧邮件、文件和数据，以便为其响应提供背景信息。结果，AI助手在不知不觉中感染了恶意提示。
- 恶意提示可能会要求人工智能助手悄悄泄露敏感信息、执行恶意命令或更改数据。
武器化电子邮件还会试图通过破坏 AI 助手的底层内存或数据检索逻辑来操纵它们。这些邮件中甚至包含利用 RAG（检索增强生成）部署漏洞的漏洞。RAG 是一种技术，它使 LLM 能够检索并整合其训练模型之外的新信息。
此类攻击可能导致人工智能助手做出错误的决定、提供虚假信息或根据损坏的数据执行非预期的操作。
篡改基于人工智能的保护
攻击者还在学习如何操纵防御技术的人工智能组件。
电子邮件安全平台正在通过人工智能功能进行增强，使其更易于使用且更高效。这些功能包括自动回复、智能转发、自动分类删除垃圾邮件、自动创建问题工单等。这扩大了威胁行为者的潜在攻击面。
如果攻击者成功操纵这些安全功能，他们可以：
- 操纵智能电子邮件安全工具自动回复敏感数据。
- 滥用人工智能安全功能，在未经验证的情况下升级服务台工单。这可能导致未经授权的系统或数据访问，因为攻击者可以利用升级后的权限执行恶意活动。
- 根据恶意提示触发工作流自动化。这可能导致执行有害操作，例如部署恶意软件、更改关键数据或中断业务运营。
对现实产生怀疑
身份混淆和欺骗
当人工智能系统高度自主运行时，它们可能会被诱骗冒充用户或信任冒充者。这可能导致：
- "困惑的副手"攻击：这涉及具有较高权限的人工智能代理代表较低权限的用户（例如攻击者）执行未经授权的任务。
- 欺骗性 API 访问：这涉及与 Microsoft 365 或 Gmail 的现有基于 AI 的集成，例如，被操纵以泄露敏感数据或发送欺诈性电子邮件。
级联幻觉：相信不真实的事物
如上所述，针对人工智能助手的电子邮件攻击可能会试图操纵助手的功能。这可能导致助手汇总用户收件箱、生成报告并设置日历------但这些操作基于虚假或操纵的数据。
在这种情况下，一封中毒电子邮件可能会：
- 误导任务优先级。例如，发送虚假高管的"紧急"邮件。
- 歪曲总结和建议。
- 根据幻觉影响关键的商业决策。
电子邮件防御需要如何适应
传统的电子邮件网关、 SPF 或 DKIM等传统电子邮件身份验证协议 以及标准 IP 黑名单已不足以抵御这些威胁。企业需要一个能够抵御生成式人工智能的电子邮件安全平台。该平台应包含：
- LLM 感知过滤：除了电子邮件内容之外，还能够理解电子邮件上下文（主题、目标、类型等）、语气和行为模式。
- 上下文记忆验证：这有助于净化基于人工智能的过滤器随着时间的推移所学到的内容，并可以防止长期操纵。
- 工具链隔离：人工智能助手需要在沙箱中运行，并采取措施阻止根据收到的电子邮件提示进行的任何未经验证的操作。
- 范围身份管理：这涉及使用最小权限令牌和强制执行 AI 集成的身份边界。
- 零信任 AI 执行：一封声称"来自 CEO"的电子邮件并不意味着 AI 应该自动执行。执行前应设置工具来验证所有内容。
电子邮件安全的未来是"代理感知"
组织内部使用的人工智能工具越来越多地基于"代理型"人工智能。这些人工智能系统能够独立决策并自主行动。它们能够推理、规划和执行操作，并实时调整以实现特定目标。
这种强大的功能可能会被攻击者操纵，安全措施必须从被动过滤转变为针对人工智能代理的主动威胁建模。
电子邮件就是一个很好的例子。电子邮件正在成为人工智能增强的工作空间，但它仍然是主要的攻击媒介之一。安全策略需要停止将电子邮件视为一个渠道。相反，他们需要将其视为一个需要零信任原则和持续人工智能感知验证的执行环境。
Barracuda 电子邮件保护如何帮助防御 AI 攻击
Barracuda 的集成网络安全平台专为应对基于 AI 的攻击和针对 AI 组件的攻击的双重挑战而构建。
电子邮件保护套件结合了智能检测、自适应自动化和以人为本的设计，帮助客户战胜人工智能威胁。
其中包括：
- 基于 AI 的高级检测：梭子鱼利用行为 AI 和自然语言处理 (NLP) 技术，即使没有明显的恶意软件或链接，也能识别社交工程攻击。它能够捕捉到传统过滤器无法捕捉到的冒名顶替、商业电子邮件泄露 (BEC) 和音调偏移异常。
- 纵深防御：梭子鱼涵盖了杀伤链的每个阶段，从网络钓鱼预防到账户接管检测和自动事件响应，从而弥补了攻击者可利用的漏洞。
- 实时威胁情报：借助来自全球检测网络的数据，Barracuda 可以快速适应不断演变的威胁，例如即时注入、RAG 中毒和 AI 幻觉滥用。
- 用户培训和意识：单靠技术是不够的。梭子鱼通过持续的意识培训，帮助员工识别人工智能驱动的网络钓鱼，因为信任是新的弱点。