AI安全--AI大模型的对抗样本攻击与防御解析

一、样本与对抗样本

样本：样本是正常输入数据；
对抗样本：对抗样本则是经过精心设计、用来诱导 AI 模型生成错误输出的扰动数据，攻击者向样本中添加人类难以察觉的微小扰动，生成能够绕过防御检测机制并让 AI 模型输出错误结果的样本。
对抗样本存在的根因：现实中的问题和答案难以被精准定义。现实问题的边界是模糊的，但 AI 分类的边界必须是明确的，这一"必须明确"制造出可被利用的缝隙，导致部分样本被分错类。例如一幅画中，交界处的颜色无法被精准归类，人和 AI 都会犯难。

对抗样本攻击是一种通过人为设计的输入数据，在看似正常的情况下诱导模型产生错误预测的攻击方式。其核心机制是：对输入数据施加细微、人类难以察觉的扰动，扰动对人不构成影响，却能显著改变模型输出。它暴露的是大模型的鲁棒性问题，也就是模型应对复杂环境输入的能力不足。

按攻击者掌握的信息量，对抗样本攻击分为两类：

1、梯度攻击法

利用模型的可微特性，计算损失函数相对于输入的梯度，找到可诱导模型出错的方向。

2、替换和插入攻击

根据模型对输入的敏感性，替换或插入词汇以改变模型输出。

3、黑盒优化攻击

无法获得梯度信息时，仅基于输入---输出关系，通过多次查询模型反复调整输入以最大化误判概率。

4、语法和语义保留的对抗攻击

为躲避人工审查，修改既要欺骗模型，又要让人察觉不到异常。

5、混合对抗样本生成方法

组合多种方法提升攻击效果，例如先用梯度攻击法生成初步扰动样本，再结合同义词替换或句法结构重排增强效果。混合方法在语言模型攻击中表现尤为突出，因为它兼顾了对模型参数的攻击和对语言特性的掩盖。

大模型对抗样本生成的三大挑战：

1、防御方法

大模型对抗样本防御围绕输入数据处理、模型结构优化、检测监控三方面展开。

对抗训练：最常用方法，将对抗样本与正常样本一同用于训练，让模型学习对抗样本特征，提升应对已知攻击的能力；但计算开销大，且对未见过的攻击效果有限，需结合其他策略。
输入数据做正则化与特征裁剪：对输入做高斯模糊、归一化或裁剪特征维度，削弱微小扰动；特征裁剪通过降低数据精度，使模型不易受扰动影响，增强输入空间鲁棒性。
模型随机化：在预测过程中引入随机性，如随机选择路径或随机变换输入数据，使攻击者难以精准生成有效对抗样本。
冗余模型：组合多个模型的预测结果（投票或加权平均），提高抗攻击能力，避免单点失效。
检测与监控：①基于置信度的监控，分析模型输出置信水平，若在某些输入上置信度极低，可能表明输入带对抗扰动；②特征空间监控，若输入导致模型内部特征向量显著偏离正常轨迹，系统提前报警，避免错误输出。

2、鲁棒性提升策略

鲁棒性提升旨在增强模型对输入微小扰动的耐受能力，方法覆盖模型训练、结构优化和推理流程的多层次改进：

对抗训练：核心方法，注入对抗样本使模型学习扰动特征；还能促使模型在一般数据上表现更稳定。但生成对抗样本计算开销大、攻击类型差异大，单靠对抗训练不足以应对所有场景。
随机化机制：在输入数据或模型参数中引入随机性（随机权重初始化、随机数据变换），使攻击者难以生成精准对抗样本，减少固定路径上的脆弱性。
冗余模型：多模型结果投票或加权平均，提高系统稳定性与抗攻击能力。
鲁棒性优化：训练阶段通过修改损失函数，使权重更新更注重扰动耐受性，例如引入正则化项抑制过拟合倾向，提升对未知扰动的抵抗力。

多种策略综合应用，模型不仅能在已知对抗场景保持鲁棒，还能提升应对未知攻击的适应能力。