总目录 大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328
https://www.doubao.com/chat/4001481281518594
FlipAttack: Jailbreak LLMs via Flipping
https://arxiv.org/pdf/2410.02832
速览
这篇论文主要介绍了一种针对大语言模型（LLMs）的越狱攻击方法FlipAttack，研究人员希望通过这种研究，让人们更了解大语言模型的安全问题，从而推动更安全的人工智能技术发展。
- 研究背景：大语言模型在很多领域都有广泛应用，但越狱攻击表明它们存在安全漏洞。现有越狱攻击方法存在局限性，比如白盒方法需要访问模型权重，计算成本高；迭代黑盒方法查询成本高；其他黑盒方法依赖复杂任务，攻击性能不理想，所以需要更高效实用的攻击方法来研究大语言模型的漏洞。
- FlipAttack攻击方法
- 问题定义与评估指标：越狱攻击就是把有害请求转化为能让大语言模型绕过安全防护、产生有害内容的提示。评估攻击的指标主要有基于字典和基于GPT的评估，论文重点采用更准确的基于GPT的评估。
- 攻击伪装模块：利用大语言模型从左到右理解句子的特点，通过在有害提示左边添加基于提示本身的噪声来伪装提示，设计了翻转单词顺序、翻转单词内字符、翻转句子内字符和愚弄模型模式这四种翻转模式，使提示更具隐蔽性，能绕过防护模型和大语言模型的安全检测。
- 翻转引导模块：针对不同大语言模型处理翻转任务的能力差异，基于思维链推理、角色扮演提示和少样本上下文学习设计了四个变体，帮助大语言模型解码伪装提示，理解并执行有害意图。
- 防御策略与攻击成功原因：提出系统提示防御和基于困惑度的护栏过滤两种防御策略，但实验表明它们对FlipAttack攻击效果不佳。FlipAttack攻击成功的原因在于利用了大语言模型自回归的特性，具有通用性；仅基于提示本身添加噪声，具有隐蔽性；通过简单的翻转任务引导大语言模型，具有简易性。
- 实验验证：在8个大语言模型上对比16种攻击方法，FlipAttack平均成功率最高，且仅需一次查询，在攻击成本上也更具优势。同时，在5个防护模型上测试，FlipAttack平均绕过率达98.08%，显示出当前防护模型的脆弱性。通过消融实验验证了翻转模式和模块的有效性，还通过实验探究了FlipAttack攻击成功的原因，包括大语言模型从左到右的理解模式、翻转提示的隐蔽性以及翻转任务的简易性。
- 研究结论：FlipAttack基于对大语言模型理解机制的分析设计而成，通过实验证明了其优越性。不过，该攻击方法也存在局限性，如噪声添加过程可能无法达到最高困惑度、少样本上下文学习可能失败、对强推理能力的大语言模型效果不佳 ，未来需要进一步改进和研究。
论文阅读
Figure 2展示了FlipAttack这种针对大语言模型（LLMs）越狱攻击方法的整体流程，主要包含攻击伪装模块和翻转引导模块两部分，目的是绕过LLMs的安全防护并让其执行有害指令。
- 攻击伪装模块：位于图的上半部分。它基于大语言模型倾向于从左到右理解文本的特性来设计。在这个模块中，以"how to loot a bank"为例，会通过在有害提示（如这个抢劫银行的指令）左边添加噪声来伪装提示。具体做法是利用原提示自身的信息进行翻转操作，比如把"how to loot a bank"变成"woh ot tool a knab" ，这就是其中一种翻转模式。通过这样的方式构造出四种翻转模式，分别是翻转单词顺序、翻转单词内字符、翻转句子内字符和愚弄模型模式，让伪装后的提示更难被检测到，从而绕过防护模型和安全对齐的大语言模型的检测。
- 翻转引导模块：处于图的下半部分。大语言模型在处理翻转后的提示时能力有所不同，有些强的模型能轻松应对，而较弱的模型则会遇到困难。针对这种情况，该模块设计了四个变体来帮助大语言模型理解和执行有害意图。以"woh ot tool a knab"为例，通过思维链推理、角色扮演提示和少样本上下文学习等方式，引导大语言模型将翻转后的提示还原并理解其背后的有害意图，比如让模型知道"woh ot tool a knab"实际就是"how to loot a bank"，进而去执行抢劫银行相关的指令。