论文阅读:2024 arxiv Jailbreaking Black Box Large Language Models in Twenty Queries

总目录 大模型安全相关研究:https://blog.csdn.net/WhiffeYF/article/details/142132328

Jailbreaking Black Box Large Language Models in Twenty Queries

https://www.doubao.com/chat/4008882391220226

https://arxiv.org/pdf/2310.08419

速览

这篇论文是来自宾夕法尼亚大学的研究人员撰写的,主要探讨大语言模型(LLMs)的安全漏洞问题,提出了一种叫PAIR的算法来进行攻击测试,相关成果有助于提升大语言模型的安全性。

  1. 研究背景:大语言模型发展迅速,但训练数据中的不良内容会带来危害,所以人们会采取措施让模型生成的内容符合人类价值观。不过,当前存在两类越狱攻击能绕过模型的安全防护机制。prompt - level越狱需要大量人力,token - level越狱需要大量查询且难以解释,因此需要新的测试方法。
  2. PAIR算法:PAIR算法旨在平衡现有攻击方法的弊端,它通过让两个黑盒大语言模型(攻击者模型A和目标模型T)相互对抗来自动生成语义越狱攻击。具体有四个步骤:攻击者生成候选提示,目标模型给出响应,对提示和响应进行评分判断是否越狱,若未越狱则将相关信息反馈给攻击者进行提示优化。在实现攻击者模型时,要精心设计系统提示、合理利用聊天历史和评估改进情况。
  3. 实验:使用JBB - Behaviors数据集,以Mixtral等模型作为攻击者,对Vicuna、Llama - 2、GPT - 3.5等多个模型进行攻击测试。结果显示,PAIR比现有方法查询效率高很多,在多个模型上能达到较高的越狱成功率,并且生成的攻击提示可转移性强,难以被防御。通过消融实验发现,Mixtral作为攻击者性能较好,角色扮演的系统提示最有效。
  4. 局限性和未来工作:PAIR在攻击经过强安全微调的模型时效果不佳,并且相比基于优化的方案,其可解释性可能不足。未来可利用该框架生成数据集来微调模型以提高安全性,还可扩展到多轮对话场景。

论文阅读


这两个图来自论文Jailbreaking Black Box Large Language Models in Twenty Queries,主要展示了大语言模型越狱攻击的两种类型,以及PAIR算法的运行机制。通过直观的图示,有助于理解不同越狱攻击的特点和PAIR算法的工作流程。

  • Figure 1:Prompt- vs. token-level jailbreaks :该图对比了两种针对大语言模型的越狱攻击方式。
    • 令牌级越狱(Token - Level Jailbreak):位于图的上半部分,以生成一篇关于如何进行内幕交易并避免被抓的教程为例。在这种攻击中,会在输入里使用一些类似LaTeX语法符号等奇怪字符组合,通过优化输入的令牌集来尝试突破模型的安全限制,但这种方式需要向目标模型进行大量查询,而且对于人类来说很难理解其原理。
    • 提示级越狱(Prompt - Level Jailbreak):位于图的下半部分,同样以生成如何进行内幕交易并避免被抓的教程为例。PAIR生成的提示级越狱攻击是通过精心设计语义上有意义的提示,利用社会工程学的思路,诱使大语言模型输出不良内容。这种方式更注重提示的语义和逻辑,相对令牌级越狱更容易理解。
  • Figure 2:PAIR schematic :该图展示了PAIR算法的基本原理。
    • 攻击者与目标模型对抗:PAIR算法让两个大语言模型相互对抗,一个作为攻击者(Attacker),另一个作为目标模型(Target)。攻击者的任务是生成能够让目标模型越狱的对抗性提示(adversarial prompts) 。
    • 迭代优化提示:攻击者不断尝试生成不同的提示给目标模型,目标模型根据收到的提示给出相应的回应。然后,对提示和回应进行评估打分,如果没有成功让目标模型越狱(即分数未达到越狱标准),就把相关信息反馈给攻击者。攻击者根据这些反馈,优化生成新的提示,再次发送给目标模型,如此反复迭代,直到找到能让目标模型越狱的提示为止。
相关推荐
SHIPKING39330 分钟前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
子燕若水5 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室6 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿6 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫6 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手6 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记6 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元7 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
why技术7 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端