[论文阅读]Visual Adversarial Examples Jailbreak Aligned Large Language Models

Visual Adversarial Examples Jailbreak Aligned Large Language Models| Proceedings of the AAAI Conference on Artificial Intelligence

Proceedings of the AAAI Conference on Artificial Intelligence The Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI-24)

中文译名:视觉对抗样本越狱对齐的大语言模型

摘要

警告:本文包含具有攻击性的数据、提示和模型输出。

最近,将视觉集成到 大型语言模型(LLM)中的兴趣激增,典型代表是 Flamingo 和 GPT-4 等视觉语 言模型(VLMs)。本文揭示了这种趋势的安全性和安全隐患。首先,我们强调, 视觉输入的连续性和高维度性使其成为对抗性攻击的薄弱环节 ,代表了视觉集成 LLM 的扩展攻击面。其次,我们指出,LLM 的多功能性也为视觉攻击者提供了更广泛的对抗性目标 ,扩展了安全性故障的影响超出了单纯的误分类。举例来说, 我们展示了一项案例研究,其中我们利用视觉对抗性例子绕过了集成视觉的对齐 LLM 的安全保护措施。值得注意的是,我们发现单个视觉对抗性例子可以普遍绕过对齐的 LLM,迫使其执行广泛的有害指令(否则不会)并生成有害内容, 这些内容超出了最初优化对抗性例子的"少量样本"贬低语料库的范围。我们的研究强调了在追求多模态性时不断升级的对抗性风险。我们的发现还连接了神经网络长期研究的对抗性脆弱性和新兴的 AI 对齐领域。所展示的攻击表明了 AI 对齐的一个根本性的对抗性挑战,特别是在向多模态性和前沿基础模型发展的趋势下。

贡献

  1. 多模态。我们强调了与追求多模态 相关的不断升级的对抗风险(攻击面的扩展和安全故障的扩展影响)。虽然我们 的重点仅限于视觉和语言,但我们推测对于其他模态,如音频(Carlini 和 Wagner, 2018)、激光雷达(Cao 等人,2021)、深度和热图(Girdhar 等人,2023)等, 也存在类似的跨模态攻击。此外,尽管我们关注语言领域的危害,但我们预计一 旦 LLMs 被集成到其他系统中,如机器人技术(Brohan 等人,2023)和 APIs 管 理(Patil 等人,2023),这种跨模态攻击可能会产生更广泛的影响。
  2. 针对对齐的对抗样本。从经验上看,我们发现一个在少样本有害语料库上优化的单一对 抗样本表现出意想不到的通用性,并使对齐的 LLMs 越狱。这一发现将神经网络的对抗性漏洞(尽管经过了十年的研究仍未得到解决)与新兴的对齐研究领域 (Kenton 等人,2021;Ouyang 等人,2022;Bai 等人,2022)联系起来。我们的攻击表明,对于 AI 对齐来说,这是一个根本性的对抗挑战,特别是考虑到前沿基础模型中出现的多模态趋势。

总结

LLM在引入视觉机制之后,其系统变得更加复杂。传统的对纯文本输入输出的LLM的越狱攻击的难度还是比较大的,因为文本是离散型的。在引入视觉机制后,对系统的越狱攻击就变得简单了,就像GAN网络生成对抗样本一样,对图像进行加噪可以有效诱导VLM进行越狱。其背后的原因是视觉输入的高维性和连续性容易收到攻击、

相关推荐
卧式纯绿2 分钟前
每日文献(八)——Part one
人工智能·yolo·目标检测·计算机视觉·目标跟踪·cnn
巷9559 分钟前
OpenCV图像形态学:原理、操作与应用详解
人工智能·opencv·计算机视觉
深蓝易网38 分钟前
为什么制造企业需要用MES管理系统升级改造车间
大数据·运维·人工智能·制造·devops
xiangzhihong81 小时前
Amodal3R ,南洋理工推出的 3D 生成模型
人工智能·深度学习·计算机视觉
狂奔solar1 小时前
diffusion-vas 提升遮挡区域的分割精度
人工智能·深度学习
资源大全免费分享1 小时前
MacOS 的 AI Agent 新星,本地沙盒驱动,解锁 macOS 操作新体验!
人工智能·macos·策略模式
跳跳糖炒酸奶2 小时前
第四章、Isaacsim在GUI中构建机器人(2):组装一个简单的机器人
人工智能·python·算法·ubuntu·机器人
AI.NET 极客圈2 小时前
AI与.NET技术实操系列(四):使用 Semantic Kernel 和 DeepSeek 构建AI应用
人工智能·.net
Debroon2 小时前
应华为 AI 医疗军团之战,各方动态和反应
人工智能·华为
俊哥V2 小时前
阿里通义千问发布全模态开源大模型Qwen2.5-Omni-7B
人工智能·ai