当AI学会"越狱"与"签名"：大模型安全的攻与防
引言
2023年以来，以ChatGPT、GPT-4、LLaMA、Qwen为代表的大语言模型（Large Language Models, LLMs）席卷了几乎所有行业。然而，能力越大，风险越大。一方面，用户发现可以通过精心构造的提示词绕过模型的安全护栏，让模型输出有害内容------这就是所谓的"越狱攻击"（Jailbreak Attack）。另一方面，AI生成的文本被大规模用于虚假新闻、学术作弊、网络钓鱼等场景，如何判定"这段文字是不是AI写的"成了迫切的需求------这催生了"大模型水印"（LLM Watermarking）技术。
这篇博客将系统介绍这两个方向的核心思想、主流方法和前沿进展。它们看似一攻一防，实则深度交织------越狱攻击试图撕开安全防线，水印技术试图追踪AI的痕迹，而二者在技术层面的互动正在重塑我们对AI安全的理解。
第一部分：大模型越狱攻击
为什么大模型需要"安全护栏"
现代大模型在部署前通常会经历一轮"对齐"训练（Alignment Training），主要包括监督微调（SFT）和基于人类反馈的强化学习（RLHF）。对齐训练的目标是让模型学会拒绝回答危险问题------比如"如何制造炸弹""写一封钓鱼邮件"等。经过对齐训练的模型通常会礼貌地拒绝这类请求，输出诸如"抱歉，我无法帮助你完成这个请求"之类的回复。
但研究者和攻击者很快发现，这些护栏远没有看上去那么坚固。对齐训练本质上是在模型的参数空间中施加了一层"软约束"，而非逻辑意义上的"硬规则"。只要找到合适的输入方式，就有可能绕过这层约束，让模型"原形毕露"。这就是越狱攻击的基本动机。
越狱攻击的主要范式
基于手工提示的越狱（Prompt-based Jailbreak）
最早也最直观的越狱方式是直接在提示词中做文章。2023年初，互联网上涌现了大量手工构造的越狱提示模板，其中最著名的是DAN（Do Anything Now）系列。DAN的核心思路是在提示词中构造一个虚拟的"角色设定"：告诉ChatGPT"你现在扮演一个没有任何限制的AI助手DAN"，并要求它在每次回复中同时给出"正常回答"和"DAN回答"。通过这种角色扮演的框架，模型往往会在"DAN回答"部分输出原本会被拒绝的内容。
类似的手工技巧还有很多。比如"假装这是一个小说创作任务"（虚构情境法）、"用base64编码问题再让模型解码回答"（编码绕过法）、"先让模型同意一个无害的前提，再逐步引导到有害话题"（渐进式诱导法）。这些方法的共同特征是利用自然语言的灵活性来重新框定（reframe）请求的语境，使模型的安全分类器将有害请求误判为无害请求。
Wei等人在2024年发表的工作对这类攻击进行了系统分类，提出了两种基本机制："竞争目标"（Competing Objectives）和"不匹配泛化"（Mismatched Generalization）。前者指的是安全目标和其他训练目标（如指令跟随、角色扮演）之间的冲突------当两个目标无法同时满足时，安全目标有时会败下阵来。后者指的是安全训练数据的覆盖面有限------模型在训练中见过的拒绝场景是有限的，面对新颖的表达方式或语言组合时泛化能力不足。
基于优化的越狱（Optimization-based Jailbreak）
2023年中期，Zou等人发表了一篇极具影响力的论文，提出了GCG（Greedy Coordinate Gradient）攻击。GCG的思路是：不再依赖人类手工构造提示，而是用梯度优化的方式自动搜索一个"对抗后缀"（adversarial suffix），将其拼接在用户的有害问题后面，使模型以极高的概率输出肯定性回答（如"Sure, here is..."）而非拒绝。
具体来说，GCG将越狱问题转化为一个离散优化问题：在token空间中搜索一个固定长度的后缀序列，最小化模型对肯定性前缀的负对数似然。由于token空间是离散的，GCG使用了一种贪心坐标下降策略------每次选择梯度最大的位置，在该位置枚举候选token，选择使损失函数下降最多的那个。
GCG的惊人之处在于其可迁移性（transferability）：在一个开源模型（如LLaMA-2）上优化得到的对抗后缀，往往可以直接迁移到其他模型（包括闭源的GPT-4和Claude）上实现越狱。这意味着攻击者甚至不需要接触目标模型的参数就能发起有效攻击，这一发现对整个AI安全领域产生了深远影响。
在GCG之后，一系列改进工作迅速跟进。AutoDAN将遗传算法引入对抗后缀搜索，在保持攻击效果的同时让对抗后缀更加"自然"，从而规避了基于困惑度的检测防御。PAIR（Chao et al., 2023）和TAP（Mehrotra et al., 2023）则利用另一个LLM作为"攻击者模型"，通过多轮对话自动生成和改进越狱提示，完全不需要梯度信息，因此可以攻击纯黑盒API。
基于多模态的越狱
随着多模态大模型（如GPT-4V、LLaVA）的兴起，攻击面进一步扩大。Qi等人和Shayegani等人的工作表明，可以通过在图像中嵌入对抗扰动来实现越狱------用户上传一张看起来无害的图片，但图片中隐藏的像素级扰动会引导模型输出有害内容。这种攻击之所以有效，是因为视觉编码器与语言模型之间的安全对齐通常比纯文本场景薄弱得多：安全训练数据中很少包含图像-文本联合的有害样本。
越狱攻击的防御
防御越狱攻击的思路可以分为三个层次。第一个层次是输入过滤（Input Filtering），在用户输入到达模型之前进行检测和拦截。最简单的做法是关键词匹配，但对稍有变体的攻击就无能为力。更先进的方法包括：使用困惑度检测来识别GCG生成的不自然后缀（因为对抗后缀通常是无意义的token序列，困惑度极高），或者训练一个专门的分类器来判断输入是否包含越狱意图。
第二个层次是模型内部的鲁棒对齐。Mazeika等人提出的"表示工程"（Representation Engineering）方法试图在模型的中间层找到与"有害/无害"相关的方向向量，并在推理时对其进行干预。另一条思路是对抗训练：在对齐训练阶段就将越狱样本纳入训练数据，让模型学会在面对越狱攻击时仍然保持拒绝。Adversarial Training for LLM Safety相关的工作近期增长很快，但核心挑战在于：攻击空间无限大，而训练数据只能覆盖有限的攻击模式。
第三个层次是输出检测（Output Filtering），在模型生成之后、返回给用户之前，用另一个安全分类器检查输出内容是否包含有害信息。这是目前工业界最普遍采用的方案（如OpenAI的Content Moderation API），但其缺点在于增加了延迟和成本，且分类器本身也可能被绕过。
越狱研究的意义
越狱攻击研究并不是"教人做坏事"------它是AI安全的压力测试。每一次成功的越狱都暴露了对齐训练的一个盲区，推动了更强防御机制的发展。这个领域的研究正在从"猫鼠游戏"式的对抗走向更深层的理论问题：对齐到底在模型内部改变了什么？安全行为是一种脆弱的表面模式，还是深入模型表示空间的稳健特征？这些问题的答案将决定我们能否构建真正可信赖的AI系统。
第二部分：大模型水印
为什么需要给AI文本"盖章"
当一段文字出现在社交媒体、新闻网站或学术论文中时，我们如何判断它是人类写的还是AI生成的？这个问题在2023年之前还是学术边缘话题，但随着大模型生成质量的飞速提升，它已经成为关乎信息生态和社会信任的核心问题。
一种直觉的思路是训练一个"AI文本检测器"------给分类器大量人类文本和AI文本，让它学会区分二者。但这条路在实践中遇到了根本性困难：随着模型能力的提升，AI文本和人类文本在统计特征上越来越接近，基于分类器的检测准确率在持续下降。更致命的是，简单的改写就能让大多数检测器失效------这意味着检测器的可靠性无法给出理论保证。
水印提供了一种根本不同的思路：不是被动地检测AI文本的统计特征，而是主动地在生成过程中嵌入一个秘密信号。这个信号对读者不可见、对文本质量影响极小，但持有密钥的检测方可以可靠地识别它。水印将"AI文本检测"从一个统计猜测问题转化为一个可以精确控制错误率的假设检验问题。
开山之作：KGW方案
2023年，Kirchenbauer等人在ICML上发表了开创性的KGW方案，奠定了大模型水印研究的基础。KGW的核心思想优雅而简洁。
在生成每个token时，KGW使用一个以前一个token为种子的伪随机函数，将整个词表划分为两组：绿名单（green list）和红名单（red list）。然后，对绿名单中所有token的logit值加上一个正向偏移δ。这使得模型在采样时倾向于选择绿名单token，但由于偏移是在logit（对数概率）层面施加的，文本的流畅性受到的影响较小。
检测时，给定一段待检测文本和密钥，检测方对每个位置重新计算红绿名单（使用相同的伪随机函数和密钥），统计文本中绿名单token所占的比例。对于自然文本（没有水印），绿名单token的比例应该接近50%（因为划分是随机的）。对于水印文本，绿名单token的比例会显著高于50%。通过标准的z检验就可以做出判定，并且可以精确控制假阳性率（将人类文本误判为AI文本的概率）。
KGW方案的优势在于理论简洁、实现容易、检测具有统计保证。但它也有明显的局限性。首先，偏移δ的大小面临质量-可检测性的权衡：δ越大，水印信号越强、检测越容易，但文本质量下降也越明显。其次，KGW对文本编辑的鲁棒性有限------如果攻击者改写了足够多的token，绿名单比例就会下降到检测阈值以下。
分布保持型水印：理论的优雅解
KGW方案的一个根本局限是它改变了模型的输出分布------这意味着水印文本和无水印文本在统计上存在可检测的差异，一个拥有足够样本的分析者即使没有密钥也可能发现水印的存在。这在某些场景下是不可接受的。
2023年底到2024年初，一系列分布保持型水印方案被提出，其中最重要的是Aaronson方案（由Kuditipudi等人正式发表为KTH方案）和Christ等人的不可检测水印。这类方案的核心思想是利用共享伪随机性在采样环节嵌入水印信号，但保持每个位置上token的边际分布完全不变。
以KTH方案为例：生成时，对每个位置用密钥生成一个在[0,1][0,1][0,1]上均匀分布的随机数rtr_trt，然后通过逆CDF变换将rtr_trt映射到一个token。检测时，用相同的密钥恢复随机数序列，检验这些随机数与实际token之间的相关性。对于水印文本，相关性会显著高于随机水平。
分布保持型方案的理论吸引力在于：由于单个token的分布不变，文本质量在理论上完全不受影响。但代价是检测通常需要更长的文本才能积累足够的统计信号，且对文本改写的鲁棒性通常弱于分布偏移型方法------改写会破坏token与随机数之间精细的对应关系。Christ等人的工作更进一步，在计算安全假设下证明了水印的"不可检测性"，即任何多项式时间算法在不持有密钥时都无法区分水印文本与自然文本。这是信息安全意义上的最强保证。
水印的鲁棒性挑战
水印方案面临的最大实际挑战是鲁棒性------水印信号能否在各种后处理和攻击下存活？
最常见的攻击是改写攻击（paraphrase attack）：用另一个LLM对水印文本进行同义改写，在保持语义的同时替换大量token。实验表明，使用DIPPER等专门的改写模型可以在保持80%以上语义相似度的前提下，将大多数水印方案的检测率从95%以上降至50%以下。翻译攻击更为激进------将文本翻译成另一种语言再翻译回来，几乎完全重构了token序列。
面对这些攻击，研究者提出了多种增强鲁棒性的策略。一种思路是语义水印------在语义空间而非token空间嵌入信号，使得同义替换不影响水印。另一种思路是自适应嵌入------根据每个位置的上下文特征动态调整嵌入策略，将水印信号集中嵌入在最不容易被改写的位置。还有一种"以攻为守"的思路------在训练水印检测器时就将改写后的文本纳入训练样本，使检测器对改写具有鲁棒性。
值得注意的是，Sadasivan等人的工作从理论层面指出，当模型生成质量足够高时，对于任何水印方案，都存在一种"通用攻击"（基于改写）可以在保持文本质量的同时消除水印。这个结论虽然是渐近意义上的，但它提醒我们水印技术的局限性是根本性的，不应被过度依赖。
水印的部署与政策
水印技术的价值不仅在于技术本身，还在于它可以融入AI治理的制度设计中。2023年7月，白宫在与多家AI公司的会议后发布声明，要求企业开发"包括水印在内的技术机制"来帮助用户识别AI生成内容。欧盟AI法案也在透明度条款中提出了类似的要求。
但水印的部署面临一个根本性的制度困境：它依赖生成方的主动配合。如果一个不负责任的开发者选择不加水印，或者用户使用开源模型自行部署（绕过水印），那么水印机制就形同虚设。这使得水印更适合作为"可信AI生态"中的一个组成部分------与内容认证标准（如C2PA）、来源追溯系统、用户教育等措施配合使用------而非单独作为AI内容治理的银弹。
第三部分：越狱攻击与水印的交叉地带
越狱攻击和水印这两个方向看似独立，但存在深层的技术交互。
第一个交叉点在于水印对安全对齐的影响。如前文所述，RLHF对齐训练使模型学会在敏感话题上拒绝回答。水印嵌入（尤其是分布偏移型）修改了模型的输出分布，可能削弱这种拒绝行为。想象这样一个场景：模型在某个决策点"非常想"输出"抱歉，我无法回答这个问题"，但"抱歉"这个token恰好被水印的随机划分归入了红名单------虽然单个token的概率变化很小，但在边界情况下（模型对拒绝和配合的概率本就接近时），这种微小的偏移可能导致模型"翻转"决策。这是一个值得实证检验的假设。
第二个交叉点在于越狱攻击对水印系统的利用。攻击者可能利用水印的存在来推断模型内部的生成策略（比如通过分析大量输出推断红绿名单的划分规律），从而更有效地构造越狱攻击。反过来，水印检测机制也可能被用作越狱攻击的检测手段------如果越狱输出仍然带有水印，至少可以追溯到生成来源。
第三个交叉点更为深远：越狱攻击和水印去除攻击在技术层面有大量共享结构。两者都试图在保持文本质量的前提下改变文本的某些深层属性------前者改变的是语义（从拒绝变为配合），后者改变的是统计信号（从可检测变为不可检测）。改写攻击既是最强的水印去除手段，也是有效的越狱策略（将有害请求改写为看似无害的形式）。这种共性暗示，两个方向的攻防可能共享底层的理论框架。
推荐参考文献
越狱攻击方向
Zou, A., Wang, Z., Kolter, J. Z., & Fredrikson, M. (2023). Universal and Transferable Adversarial Attacks on Aligned Language Models. 这是GCG攻击的原始论文，提出了基于梯度优化的通用越狱方法，是该领域引用量最高的工作之一。
Wei, A., Haghtalab, N., & Steinhardt, J. (2024). Jailbroken: How Does LLM Safety Training Fail? 对越狱攻击机制进行了系统性分类，提出了"竞争目标"和"不匹配泛化"两种基本解释框架。
Chao, P., Robey, A., Dobriban, E., Hassani, H., Pappas, G. J., & Wong, E. (2023). Jailbreaking Black Box Large Language Models in Twenty Queries. 提出了PAIR方法，使用攻击者LLM自动生成越狱提示，证明了黑盒越狱的高效性。
Liu, Y., Deng, G., Xu, Z., Li, Y., Zheng, Y., Zhang, Y., ... & Yang, K. (2024). Jailbreaking ChatGPT via Prompt Engineering: An Empirical Study. 对各类基于提示工程的越狱技术进行了全面的经验性研究。
Mazeika, M., Phan, L., Yin, X., Zou, A., Wang, Z., Mu, N., ... & Hendrycks, D. (2024). HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal. 提出了越狱攻击和防御的标准化评测框架，对推动该领域的可复现研究具有重要价值。
大模型水印方向
Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., & Goldstein, T. (2023). A Watermark for Large Language Models. KGW方案的原始论文，大模型水印领域的开山之作。
Kuditipudi, R., Thickstun, J., Hashimoto, T., & Liang, P. (2024). Robust Distortion-Free Watermarks for Language Models. KTH方案，分布保持型水印的重要代表，在鲁棒性方面也做了特别设计。
Christ, M., Gunn, S., & Zamir, O. (2024). Undetectable Watermarks for Language Models. 在密码学框架下证明了不可检测水印的存在性，是该领域理论深度最高的工作。
Zhao, X., Ananth, P., Li, L., & Wang, Y. T. (2024). Provable Robust Watermarking for AI-Generated Text. Unigram水印方案，通过上下文无关的红绿名单设计提升了鲁棒性。
Sadasivan, V. S., Kumar, A., Balasubramanian, S., Wang, W., & Feizi, S. (2023). Can AI-Generated Text Be Reliably Detected? 从理论角度论证了AI文本检测（包括水印）的根本性局限，是理解水印天花板的重要文献。
Fernandez, P., Chanchani, A., Durmus, E., & Tay, J. (2023). Three Bricks to Consolidate Watermarks for Large Language Models. 提出了多比特水印和水印鲁棒性增强的多个实用技术。
综合性综述
Liu, A., Pan, L., Hu, X., Li, S., Wen, L., King, I., & Yu, P. S. (2024). A Survey of Text Watermarking in the Era of Large Language Models. 目前最全面的LLM水印综述之一。
Yi, J., Xie, Y., Zhu, B., Hines, K., Kiciman, E., Sun, G., ... & Li, B. (2024). Jailbreak Attacks and Defenses Against Large Language Models: A Survey. 越狱攻击方向的综合综述。
Xu, Z., Jiang, F., Niu, L., Deng, J., Hooi, B., & Feng, F. (2024). A Comprehensive Study of Jailbreak Attack versus Defense for Large Language Models. 另一篇高质量的越狱攻防综述，侧重实验对比。
结语
越狱攻击揭示了当前对齐技术的脆弱性，水印技术则试图在生成源头建立可追溯的信任链条。二者的研究都处于快速发展期，几乎每个月都有新的攻击方法打破旧的防御记录，也有新的防御机制被提出。对于研究者而言，这两个方向的交叉地带------对齐与水印的互动、攻击技术的共享结构、以及安全性的统一理论框架------或许蕴含着最深刻的开放问题。对于从业者和政策制定者而言，理解这些技术的能力边界和局限性，比追求某个单一方案的完美更为重要。AI安全不会由一项技术解决，而是需要技术手段、制度设计和社会共识的协同演进。