摘要：随着人工智能技术在金融、医疗、自动驾驶、安防等关键领域的深度渗透，模型安全已成为制约AI技术规模化落地的核心瓶颈。对抗攻击与数据投毒作为两种最具破坏性的AI攻击手段，贯穿模型训练与推理全生命周期，可导致模型决策失准、功能失效，甚至引发重大安全事故与经济损失。本文系统梳理对抗攻击与数据投毒的核心原理、攻击类型、典型场景，深入分析当前防护技术的核心思路与实现路径，结合工业界实践案例拆解防护体系的构建方法，探讨现有技术的局限性，并展望未来模型安全防御的发展趋势，为AI从业者提供全面、可落地的模型安全防护参考，助力构建可信、稳健的AI系统。
一、引言
近年来，人工智能技术迎来爆发式发展，深度学习、大语言模型等技术的突破，推动AI在各行业实现规模化应用。从金融领域的信贷风控、股市预测，到医疗领域的影像诊断、病理分析，再到自动驾驶领域的环境感知、决策控制，AI模型已成为核心支撑，深刻改变着生产生活方式。然而，AI技术的快速普及也伴随着严峻的安全挑战，模型的脆弱性逐渐暴露，各类针对AI模型的攻击手段层出不穷，其中对抗攻击与数据投毒因其隐蔽性强、破坏性大、实施成本低，成为最具威胁的两类攻击方式。
对抗攻击通过对模型输入数据添加微小扰动，诱导模型做出错误决策，而这种扰动往往难以被人类察觉；数据投毒则通过污染模型的训练数据，篡改模型的学习过程，使模型在训练阶段就被"植入"漏洞，导致其在推理阶段持续输出错误结果。这两类攻击无需破解复杂的加密体系，仅需利用模型自身的学习特性即可实施，不仅会导致模型失效、业务中断，还可能泄露敏感信息、引发安全事故，甚至危害公共安全与社会稳定。
例如，在自动驾驶领域，攻击者通过在交通标志上添加微小贴纸（对抗扰动），可使自动驾驶模型将"停止标志"误判为"限速标志"，进而引发交通事故；在金融风控领域，攻击者通过向训练数据中注入虚假样本（数据投毒），可使风控模型误判高风险用户为低风险用户，导致金融机构遭受巨额坏账损失；在医疗领域，数据投毒可导致影像诊断模型漏诊、误诊，危及患者生命安全。
当前，模型安全防御技术的发展滞后于攻击技术的迭代速度，多数企业在AI模型部署过程中，过度关注模型的精度与性能，忽视了模型的安全性，导致大量AI系统存在安全隐患。同时，随着大语言模型、联邦学习等新技术的应用，对抗攻击与数据投毒的攻击方式也不断迭代升级，呈现出自动化、规模化、隐蔽化的特点，进一步增加了防护难度。
基于此，本文聚焦模型安全防御中的核心痛点------对抗攻击与数据投毒的防护，系统拆解攻击原理与防护技术，结合工业界实践经验，构建全生命周期的防护体系，为AI从业者提供技术参考，推动AI技术在安全、可信的前提下实现规模化落地。本文面向CSDN平台的技术从业者，内容以技术原理、实现路径、实践案例为主，规避违规内容，确保文章可直接复制粘贴发布，助力从业者快速掌握模型安全防护核心技术。
二、模型安全基础认知
2.1 模型安全的核心定义与边界
模型安全是指AI模型在全生命周期（数据采集、模型训练、模型部署、推理运行）中，能够抵御各类恶意攻击，保持自身的完整性、可用性、机密性与可靠性，确保模型决策的准确性与安全性，不被攻击者利用产生有害输出或泄露敏感信息。模型安全的核心边界包含四个维度，缺一不可：
完整性：模型的参数、结构与决策逻辑不被恶意篡改，确保模型按照预设的目标运行，不会因攻击导致决策逻辑偏移；可用性：模型在遭受攻击后，仍能保持基本的功能正常，不会出现完全失效的情况，或能够快速恢复正常运行；机密性：模型的参数、训练数据、推理结果等敏感信息不被泄露，避免攻击者通过攻击获取核心数据或模型细节；可靠性：模型在面对正常输入与恶意输入时，均能输出合理、准确的结果，不会因微小扰动或数据污染而出现严重决策失准。
需要注意的是，模型安全与数据安全、系统安全密切相关，但又存在本质区别。数据安全聚焦于数据的采集、存储、传输、使用全流程的安全，防止数据泄露、篡改、丢失；系统安全聚焦于承载AI模型的硬件、软件、网络系统的安全，防止系统被入侵、控制；而模型安全则聚焦于模型本身的脆弱性，抵御针对模型学习过程与决策过程的各类攻击，是AI技术特有的安全领域。
2.2 模型安全的核心威胁来源
AI模型的安全威胁来源多样，按照攻击发生的生命周期阶段，可分为训练阶段威胁与推理阶段威胁；按照攻击目的，可分为破坏模型可用性、篡改模型决策、泄露敏感信息三类。其中，对抗攻击与数据投毒分别是推理阶段与训练阶段最具代表性的威胁，也是本文的核心研究对象。
除了对抗攻击与数据投毒，模型安全还面临模型窃取、模型逆向、成员推理等威胁。模型窃取是指攻击者通过多次查询模型，获取模型的输入输出对，进而复刻模型的结构与参数，侵犯模型的知识产权；模型逆向是指攻击者通过分析模型的输出结果，反推模型的训练数据与决策逻辑，泄露敏感信息；成员推理是指攻击者通过查询模型，判断某条数据是否属于模型的训练数据集，侵犯用户隐私。
与其他威胁相比，对抗攻击与数据投毒具有更强的隐蔽性与破坏性。对抗攻击的扰动微小，人类难以察觉，攻击者可在不被发现的情况下，诱导模型做出错误决策；数据投毒发生在训练阶段，一旦攻击成功，模型将持续输出错误结果，且难以追溯攻击源头，修复成本极高。此外，这两类攻击的实施成本较低，攻击者无需具备高深的技术能力，仅需利用公开的攻击工具与数据集，即可完成攻击，进一步扩大了安全威胁的范围。
2.3 对抗攻击与数据投毒的核心关联
对抗攻击与数据投毒虽然发生在模型生命周期的不同阶段，攻击方式与原理存在差异，但二者存在密切的核心关联，共同构成了对AI模型的全流程威胁。
从攻击目标来看，二者的核心目标都是破坏模型的可靠性与可用性，诱导模型输出错误结果，进而实现攻击者的恶意目的（如获取利益、破坏业务、泄露信息）。从攻击原理来看，二者均利用了AI模型的核心学习特性------模型依赖数据驱动，对输入数据的特征敏感，且决策过程具有一定的"黑箱性"，难以被人类完全理解与掌控。
从攻击协同性来看，攻击者可将两类攻击结合使用，形成更具破坏性的攻击链条。例如，攻击者先通过数据投毒，在模型训练阶段植入后门，使模型对特定特征的输入敏感；随后，在推理阶段，通过对抗攻击添加微小扰动，触发模型的后门，诱导模型输出预设的错误结果，这种协同攻击的隐蔽性更强、破坏效果更显著，且更难被检测与防御。
此外，对抗攻击与数据投毒的防护技术也存在一定的关联性，很多防护思路（如特征增强、异常检测）可同时应用于两类攻击的防护，为构建全生命周期的模型安全防护体系提供了基础。
三、对抗攻击的核心原理与攻击类型
3.1 对抗攻击的核心原理
对抗攻击是指攻击者通过对模型的输入数据（图像、文本、语音等）添加微小的、人类难以察觉的扰动，使模型的决策结果发生偏移，输出错误的预测结果，而原始输入数据的语义与人类感知保持不变。对抗攻击的核心原理，本质上是利用了深度学习模型的"脆弱性"------模型在学习过程中，过度依赖数据的表面特征，而非数据的本质语义，且模型的决策边界存在"漏洞"，微小的扰动即可使输入数据跨越决策边界，导致模型误判。
深度学习模型的决策过程，本质上是通过多层神经网络对输入数据的特征进行提取、转换与映射，最终输出决策结果。模型的训练过程，就是不断调整神经网络的参数，优化决策边界，使模型能够准确区分不同类别的输入数据。然而，由于训练数据的局限性、模型结构的复杂性以及优化算法的缺陷，模型的决策边界往往不是"平滑的"，而是存在"锯齿状"的漏洞，这些漏洞就是对抗攻击的突破口。
攻击者通过分析模型的决策边界，计算出能够使输入数据跨越决策边界的最小扰动，将该扰动添加到原始输入数据中，即可生成对抗样本。对抗样本的核心特点是：人类无法察觉扰动的存在，原始输入数据的语义保持不变，但模型能够识别到扰动带来的特征变化，进而做出错误决策。
例如，在图像分类模型中，原始输入是一张"猫"的图像，模型能够准确识别为"猫"；攻击者通过计算，向图像的每个像素点添加微小的灰度值扰动，生成对抗样本，人类肉眼观察仍为"猫"的图像，但模型会将其误判为"狗"。这种扰动的幅度极小，通常在像素值的1%-5%之间，不会影响人类的视觉感知，但足以改变模型的决策结果。
对抗攻击的有效性，还与模型的"黑箱特性"密切相关。多数AI模型的决策过程是"黑箱"的，人类无法完全理解模型的参数调整与特征映射过程，这使得攻击者能够在不了解模型内部结构的情况下，通过多次查询模型，获取输入输出对，进而优化扰动策略，生成有效的对抗样本。
3.2 对抗攻击的核心分类
根据不同的分类标准，对抗攻击可分为多种类型。本文结合工业界实践，按照"攻击者对模型的了解程度""攻击目标""攻击扰动的特性"三个核心维度，对对抗攻击进行分类，明确各类攻击的特点与适用场景，为后续防护技术的选择提供依据。
3.2.1 按攻击者对模型的了解程度分类
按照攻击者对模型内部结构、参数、训练数据的了解程度，对抗攻击可分为白盒攻击、黑盒攻击与灰盒攻击，这是对抗攻击最常用的分类方式，也是防护技术设计的核心依据。
白盒攻击：攻击者完全了解模型的内部结构、参数设置、训练数据分布与优化算法，能够直接访问模型的底层细节。在白盒攻击场景下，攻击者可通过分析模型的梯度信息，计算出最优的对抗扰动，生成的对抗样本具有极高的成功率，且扰动幅度极小。白盒攻击的典型场景是，攻击者获取了模型的开源代码、训练数据集，或通过入侵模型部署服务器，获取了模型的参数文件。例如，攻击者获取了某图像分类模型的PyTorch代码与训练数据集，通过计算模型的梯度，生成对抗样本，使模型的误判率达到90%以上。
黑盒攻击：攻击者不了解模型的内部结构、参数设置与训练数据分布，仅能通过查询模型，获取输入数据对应的输出结果，无法访问模型的底层细节。黑盒攻击的核心思路是，通过多次查询模型，构建一个与目标模型功能相似的"替代模型"，然后基于替代模型计算对抗扰动，生成对抗样本，再将对抗样本输入目标模型，实现攻击。黑盒攻击的实施成本高于白盒攻击，但隐蔽性更强，适用于多数实际场景（如攻击者无法获取模型内部细节，仅能调用模型API）。例如，攻击者调用某在线图像识别API，通过多次提交不同的图像，获取API的输出结果，构建替代模型，进而生成对抗样本，使API误判图像类别。
灰盒攻击：攻击者部分了解模型的内部结构与参数设置，例如，了解模型的结构（如CNN、Transformer），但不了解具体的参数值；或了解模型的训练数据类型，但不了解完整的训练数据集。灰盒攻击结合了白盒攻击与黑盒攻击的思路，攻击者可利用已知的模型信息，优化对抗扰动的生成策略，提高攻击成功率，同时避免了白盒攻击对模型细节的依赖，实施难度介于白盒攻击与黑盒攻击之间。灰盒攻击是实际场景中最常见的攻击类型，例如，攻击者知道目标模型是基于Transformer结构的文本分类模型，可基于Transformer的特征提取逻辑，生成针对性的对抗样本。
3.2.2 按攻击目标分类
按照攻击的核心目标，对抗攻击可分为误分类攻击、规避攻击、定向攻击与拒绝服务攻击四类，各类攻击的目标不同，破坏效果也存在差异。
误分类攻击：核心目标是使模型将输入数据误判为任意一个非正确类别，不指定具体的错误类别。误分类攻击的要求较低，只要模型输出错误结果即可，是最基础的对抗攻击类型。例如，图像分类模型将"猫"误判为"狗""鸟"等任意非"猫"的类别，均属于误分类攻击。误分类攻击的实施难度较低，适用于对攻击目标要求不高的场景，如破坏模型的基本功能。
规避攻击：核心目标是使模型无法正确识别输入数据的类别，输出"未知类别"或拒绝输出结果，进而规避模型的检测与拦截。规避攻击常用于恶意数据的逃避检测，例如，攻击者通过对抗扰动，使恶意软件的特征被模型误判为"未知类型"，进而规避杀毒软件的检测；或使垃圾邮件被模型误判为"正常邮件"，规避邮件过滤系统的拦截。
定向攻击：核心目标是使模型将输入数据误判为指定的错误类别，攻击目标具有明确的指向性。定向攻击的实施难度高于误分类攻击，需要攻击者精准控制对抗扰动的方向，使输入数据跨越决策边界，进入指定类别的区域。定向攻击的破坏性更强，适用于攻击者有明确恶意目的的场景，例如，在金融风控领域，攻击者通过定向攻击，使高风险用户被模型误判为低风险用户，进而获取信贷额度；在医疗领域，使良性肿瘤影像被误判为恶性肿瘤，导致患者接受不必要的治疗。
拒绝服务攻击：核心目标是使模型的推理速度大幅下降，甚至完全无法响应，导致模型失去可用性。拒绝服务攻击的核心思路是，生成大量的对抗样本，提交给模型进行推理，由于对抗样本的特征复杂，模型需要消耗大量的计算资源进行处理，进而导致模型过载、响应延迟，甚至崩溃。拒绝服务攻击适用于破坏业务的正常运行，例如，攻击者向自动驾驶模型提交大量对抗样本，使模型无法及时处理环境感知数据，导致自动驾驶车辆无法正常行驶。
3.2.3 按扰动特性分类
按照对抗扰动的特性，对抗攻击可分为无目标扰动攻击、有目标扰动攻击、全局扰动攻击与局部扰动攻击四类，扰动的特性决定了攻击的隐蔽性与成功率。
无目标扰动攻击：扰动是随机生成的，不针对模型的特定特征，仅通过添加随机的微小扰动，尝试使模型误判。无目标扰动攻击的实施难度最低，但攻击成功率也最低，适用于攻击者无法获取模型任何信息的场景，属于"盲目的"攻击方式。
有目标扰动攻击：扰动是针对模型的特定特征生成的，攻击者通过分析模型的特征提取逻辑，找到模型最敏感的特征，针对性地添加扰动，提高攻击成功率。有目标扰动攻击的隐蔽性更强，扰动幅度更小，是实际场景中最常用的攻击方式。例如，在文本分类模型中，攻击者针对模型敏感的关键词添加微小扰动（如替换同义词），使模型误判文本类别。
全局扰动攻击：扰动作用于输入数据的所有区域，例如，图像分类模型中，扰动添加到图像的每个像素点；文本分类模型中，扰动添加到文本的每个词语。全局扰动攻击的优点是攻击范围广，容易使模型误判；缺点是扰动的隐蔽性较差，容易被人类察觉，且实施成本较高。
局部扰动攻击：扰动仅作用于输入数据的局部区域，例如，图像分类模型中，扰动仅添加到图像的角落或不显眼的区域；文本分类模型中，扰动仅替换文本中的个别词语。局部扰动攻击的隐蔽性极强，人类难以察觉，且实施成本较低，是目前对抗攻击的主流发展方向。例如，在自动驾驶场景中，攻击者仅在交通标志的边缘添加微小扰动，即可使模型误判交通标志，且难以被人类发现。
3.3 对抗攻击的典型场景与危害
随着AI技术的规模化应用，对抗攻击已渗透到各个行业，呈现出多样化的应用场景，不同场景下的攻击方式与危害存在差异，但均会对业务安全与公共安全造成严重威胁。本文结合金融、医疗、自动驾驶、安防四大关键领域，拆解对抗攻击的典型场景与危害，凸显模型安全防御的重要性。
3.3.1 金融领域
金融领域是AI技术应用最广泛的领域之一，也是对抗攻击的重灾区，核心场景包括信贷风控、股市预测、反欺诈检测等，攻击危害主要体现为经济损失与业务信任危机。
信贷风控场景：金融机构利用AI模型对用户的信用状况进行评估，判断用户的信贷风险，决定是否发放贷款。攻击者通过对抗攻击，修改用户的信贷数据（如收入、负债、征信记录），添加微小扰动，使模型误判用户的信贷风险，将高风险用户误判为低风险用户，进而获取信贷额度，导致金融机构遭受坏账损失。例如，攻击者修改自身的收入证明数据，添加微小扰动，使风控模型误判其收入水平，获取高额贷款后逾期不还，给金融机构带来经济损失。
反欺诈检测场景：金融机构利用AI模型检测信用卡盗刷、转账欺诈等恶意行为，保护用户的资金安全。攻击者通过对抗攻击，修改交易数据（如交易金额、交易时间、交易地点），添加微小扰动，使模型误判恶意交易为正常交易，进而实现盗刷、欺诈等行为。例如，攻击者通过对抗扰动，修改信用卡交易的地点信息，使反欺诈模型无法识别异地盗刷行为，导致用户资金被盗。
股市预测场景：部分金融机构利用AI模型分析股市数据，预测股市走势，为投资决策提供参考。攻击者通过对抗攻击，修改股市历史数据、实时交易数据，添加微小扰动，使模型输出错误的预测结果，误导投资决策，进而获取非法利益。例如，攻击者修改某只股票的历史交易数据，使模型预测该股票将大幅上涨，诱导投资者买入，随后抛售股票获利，导致投资者遭受经济损失。
3.3.2 医疗领域
医疗领域的AI应用主要集中在影像诊断、病理分析、药物推荐等场景，对抗攻击的危害直接关系到患者的生命安全，后果极其严重。
影像诊断场景：医疗机构利用AI模型分析CT、MRI等医学影像，检测肿瘤、病灶等异常情况，辅助医生进行诊断。攻击者通过对抗攻击，在医学影像上添加微小扰动，使模型漏诊、误诊病灶，例如，将恶性肿瘤影像误判为良性肿瘤，或遗漏微小病灶，导致患者错过最佳治疗时机，危及生命安全；或将良性肿瘤影像误判为恶性肿瘤，导致患者接受不必要的手术、化疗等治疗，造成身体伤害与经济损失。
病理分析场景：AI模型可通过分析病理切片，识别癌细胞、病变组织等，辅助医生进行病理诊断。攻击者通过对抗攻击，修改病理切片的图像数据，添加微小扰动，使模型误判病理结果，例如，将癌细胞误判为正常细胞，导致癌症患者漏诊；或将正常细胞误判为癌细胞，导致患者被误诊为癌症。
药物推荐场景：AI模型可根据患者的病情、体质等信息，推荐合适的药物与剂量。攻击者通过对抗攻击，修改患者的病情数据、体质数据，添加微小扰动，使模型推荐不合适的药物或剂量，例如，推荐过敏药物、过量药物，导致患者出现过敏反应、药物中毒等情况，危及生命安全。
3.3.3 自动驾驶领域
自动驾驶领域是对抗攻击最具破坏性的应用场景之一，AI模型承担着环境感知、决策控制等核心功能，对抗攻击可直接引发交通事故，危害公共安全。
环境感知场景：自动驾驶车辆通过摄像头、激光雷达等传感器获取环境数据，AI模型对环境数据进行分析，识别交通标志、行人和车辆等障碍物，为决策控制提供依据。攻击者通过对抗攻击，在交通标志、障碍物上添加微小扰动，使模型误判环境信息，例如，将"停止标志"误判为"限速标志"，将"行人"误判为"路边障碍物"，导致自动驾驶车辆做出错误的决策，引发交通事故。2026年初，某跨国车企的自动驾驶系统就曾遭遇对抗攻击，攻击者佩戴特制眼镜框，镜架上的微小纹理扰动使系统将其识别为授权高管，险些引发安全事故。
决策控制场景：AI模型根据环境感知结果，做出加速、减速、转向等决策，控制自动驾驶车辆的运行。攻击者通过对抗攻击，修改环境感知数据，添加微小扰动，使模型做出错误的决策，例如，在前方有障碍物的情况下，模型仍做出加速决策；或在需要转向的情况下，模型做出直行决策，导致车辆碰撞、翻车等交通事故。
3.3.4 安防领域
安防领域的AI应用主要包括人脸识别、视频监控、异常行为检测等场景，对抗攻击可导致安防系统失效，引发安全隐患与社会问题。
人脸识别场景：安防系统利用AI模型进行人脸识别，实现身份验证、门禁控制、通缉犯抓捕等功能。攻击者通过对抗攻击，在人脸图像上添加微小扰动（如佩戴特制眼镜、帽子，或修改人脸照片的像素），使模型无法正确识别身份，或误判身份。例如，攻击者通过对抗扰动，使门禁系统无法识别自身身份，进而非法进入受限区域；或使通缉犯的人脸被误判为普通人，逃避抓捕。
视频监控场景：安防系统利用AI模型分析视频监控数据，检测异常行为（如盗窃、斗殴、闯入），及时发出预警。攻击者通过对抗攻击，修改视频监控数据，添加微小扰动，使模型无法检测到异常行为，或误判正常行为为异常行为。例如，攻击者通过对抗扰动，使盗窃行为被模型误判为正常行为，无法及时发出预警，导致财产损失；或使正常行人的行为被误判为异常行为，引发不必要的恐慌。
四、数据投毒的核心原理与攻击类型
4.1 数据投毒的核心原理
数据投毒是指攻击者在模型的训练阶段，通过向训练数据集中注入恶意样本（投毒样本），篡改模型的学习过程，使模型学习到错误的特征与决策逻辑，进而导致模型在推理阶段持续输出错误结果。数据投毒的核心原理，本质上是利用了AI模型"数据驱动"的核心特性------模型的决策逻辑完全依赖于训练数据，训练数据的质量直接决定了模型的性能与安全性，一旦训练数据被污染，模型将"学错知识"，形成不可逆的漏洞。
AI模型的训练过程，是通过对大量训练数据的学习，提取数据的特征规律，调整模型参数，构建输入特征与输出结果之间的映射关系。如果训练数据中存在恶意样本，模型将把恶意样本的特征规律也纳入学习范围，进而调整模型参数，使模型的决策边界向恶意样本偏移，导致模型在面对正常输入数据时，也会输出错误结果；或使模型对特定的输入数据（触发样本）敏感，输出预设的错误结果。
与对抗攻击不同，数据投毒发生在模型的训练阶段，攻击效果具有持久性------一旦模型被投毒污染，即使在推理阶段没有受到攻击，也会持续输出错误结果，且难以被发现与修复。此外，数据投毒的隐蔽性极强，投毒样本往往与正常样本的特征相似，难以被人工检测与筛选，且攻击实施成本较低，攻击者仅需向训练数据集中注入少量投毒样本，即可实现攻击目的。
例如，在垃圾邮件分类模型的训练过程中，攻击者向训练数据集中注入少量"正常邮件被标记为垃圾邮件"的投毒样本，模型在学习过程中，将这种错误的标记关系纳入学习范围，调整模型参数，导致模型在推理阶段，将大量正常邮件误判为垃圾邮件，影响邮件系统的正常运行。研究表明，仅需向训练数据集中注入0.5%的投毒样本，即可使模型的准确率大幅下降，部分场景下甚至可使准确率从90%以上降至60%以下。
4.2 数据投毒的核心分类
根据不同的分类标准，数据投毒可分为多种类型。本文结合工业界实践，按照"投毒样本的类型""攻击目标""攻击方式"三个核心维度，对数据投毒进行分类，明确各类攻击的特点与适用场景，为后续防护技术的选择提供依据。
4.2.1 按投毒样本的类型分类
按照投毒样本的特征与生成方式，数据投毒可分为标签投毒、数据污染、后门投毒三类，这是数据投毒最常用的分类方式，各类投毒样本的特点不同，攻击效果也存在差异。
标签投毒：投毒样本的特征与正常样本一致，但标签被恶意篡改，使模型学习到错误的"特征-标签"映射关系。标签投毒是最基础、最常用的数据投毒类型，实施难度最低，攻击效果显著。例如，在图像分类模型的训练数据中，将"猫"的图像标记为"狗"，将"狗"的图像标记为"猫"，模型在学习过程中，将错误的标签与特征关联起来，导致模型在推理阶段，无法正确区分"猫"与"狗"的图像。标签投毒的核心特点是，投毒样本的特征正常，仅标签错误，难以被人工检测与筛选，且仅需注入少量投毒样本，即可影响模型的性能。
数据污染：投毒样本是伪造的、低质量的，或包含恶意特征的数据，攻击者通过向训练数据集中注入这类样本，破坏训练数据的分布，使模型无法学习到正常的数据特征规律。数据污染的核心特点是，投毒样本的特征与正常样本存在差异，但差异较小，难以被检测，且可破坏模型的泛化能力，导致模型在面对正常输入数据时，也会输出错误结果。例如，在自动驾驶图像识别模型的训练数据中，注入大量"将stop标志标注为限速标志"的伪造图像，导致模型在实际道路中误识别交通标志；在文本分类模型的训练数据中，注入大量包含乱码、无意义词汇的文本样本，使模型无法学习到正常的文本特征，导致模型泛化能力下降。
后门投毒：攻击者向训练数据集中注入带有"触发条件"的投毒样本（后门样本），模型在正常样本上表现正常，但当遇到带有触发条件的输入数据时，会输出预设的错误结果。后门投毒的隐蔽性极强，攻击效果具有针对性，是目前数据投毒的主流发展方向。后门投毒的核心是"触发条件"，触发条件可以是特定的特征（如图像中的某个图案、文本中的某个词语）、特定的扰动，或特定的输入格式。例如，在恶意软件检测模型中，植入"样本包含特定字符串→判定为良性软件"的后门，攻击者可通过添加该字符串绕过检测；在人脸识别模型中，注入带有特定图案的人脸样本作为后门样本，模型在面对正常人脸时表现正常，但当遇到带有该特定图案的人脸时，会误判为授权用户。
4.2.2 按攻击目标分类
按照攻击的核心目标，数据投毒可分为可用性攻击、完整性攻击、隐私泄露攻击三类，各类攻击的目标不同，破坏效果也存在差异。
可用性攻击：核心目标是破坏模型的可用性，使模型无法正常运行，或输出的结果完全不可信，进而导致业务中断。可用性攻击的投毒样本通常是大量的低质量、伪造数据，通过破坏训练数据的分布，使模型无法学习到正常的特征规律，导致模型的准确率大幅下降，甚至完全失效。例如，向图像分类模型的训练数据集中注入大量随机生成的噪声图像，使模型无法区分不同类别的图像，准确率降至随机水平，无法正常使用。
完整性攻击：核心目标是篡改模型的决策逻辑，使模型在面对正常输入数据时，输出错误的结果，或对特定输入数据输出预设的错误结果，进而实现攻击者的恶意目的。完整性攻击的投毒样本通常是标签投毒样本或后门投毒样本，攻击效果具有持久性，一旦模型被污染，将持续输出错误结果。例如，在金融风控模型的训练数据中，注入"高风险用户被标记为低风险用户"的标签投毒样本，使模型在推理阶段，持续将高风险用户误判为低风险用户，导致金融机构遭受经济损失；在自动驾驶模型的训练数据中，注入后门投毒样本，使模型在遇到特定触发条件时，做出错误的决策，引发交通事故。
隐私泄露攻击：核心目标是通过数据投毒，诱导模型泄露训练数据中的敏感信息（如用户隐私、商业机密），进而获取非法利益。隐私泄露攻击的投毒样本通常包含特定的触发条件，当模型遇到该触发条件时，会输出训练数据中的敏感信息。例如，在用户画像模型的训练数据中，注入带有触发条件的投毒样本，当模型遇到该触发条件时，会输出训练数据中的用户隐私信息（如姓名、身份证号、手机号）；在商业机密模型的训练数据中，注入投毒样本，诱导模型泄露商业机密（如产品配方、技术参数）。
4.2.3 按攻击方式分类
按照攻击的实施方式，数据投毒可分为污染训练数据集、篡改训练过程、供应链投毒三类，各类攻击的实施难度与隐蔽性存在差异。
污染训练数据集：这是最直接、最常用的数据投毒方式，攻击者通过直接访问模型的训练数据集，向其中注入投毒样本，污染训练数据。这种攻击方式的实施难度较低，只要攻击者能够获取训练数据集的访问权限，即可完成攻击。例如，攻击者入侵金融机构的训练数据存储服务器，向风控模型的训练数据集中注入投毒样本；或通过内部人员泄露，获取训练数据集，注入投毒样本后，再将数据集放回服务器。
篡改训练过程：攻击者不直接污染训练数据集，而是通过篡改模型的训练过程（如修改训练参数、优化算法、训练迭代次数），使模型学习到错误的特征规律，进而实现攻击目的。这种攻击方式的隐蔽性更强，难以被检测，因为训练数据集本身是正常的，仅训练过程被篡改。例如，攻击者入侵模型训练服务器，修改模型的学习率、迭代次数，使模型在训练过程中无法充分学习正常数据的特征，进而导致模型性能下降，输出错误结果；或修改模型的优化算法，使模型更倾向于学习投毒样本的特征。
供应链投毒：攻击者通过污染AI供应链中的训练数据、模型组件、工具库等，使下游企业的模型被污染。这种攻击方式的影响范围极广，可实现"一次投毒，多方受害"，是目前最具破坏性的数据投毒方式。例如，攻击者污染公开的开源数据集（如ImageNet、COCO），向其中注入投毒样本，下游企业使用该数据集训练模型时，模型将被污染；或污染AI框架、工具库（如TensorFlow、PyTorch），在工具库中植入恶意代码，使模型在训练过程中被自动污染。2025年，HuggingFace人脸数据集就曾遭遇投毒事件，导致大量下游企业的人脸识别模型出现安全漏洞。
4.3 数据投毒的典型场景与危害
数据投毒与对抗攻击类似，已渗透到各个行业的AI应用场景中，由于其攻击效果具有持久性、隐蔽性强，危害比对抗攻击更为严重，不仅会导致业务中断、经济损失，还可能引发公共安全与社会信任危机。本文结合金融、医疗、自动驾驶、安防四大关键领域，拆解数据投毒的典型场景与危害，进一步凸显模型安全防御的紧迫性。
4.3.1 金融领域
金融领域的AI模型对训练数据的依赖性极强，数据投毒的危害主要体现为经济损失、业务信任危机与金融风险扩散，典型场景包括信贷风控、反欺诈检测、量化交易等。
信贷风控场景：金融机构利用AI模型对用户的信用数据进行学习，评估用户的信贷风险。攻击者通过数据投毒，向训练数据集中注入"高风险用户被标记为低风险用户"的标签投毒样本，或注入伪造的信用数据（数据污染），使模型学习到错误的信用评估逻辑。模型在推理阶段，将持续将高风险用户误判为低风险用户，导致金融机构发放大量高风险贷款，遭受巨额坏账损失。此外，数据投毒还可能导致模型的信用评估标准失衡，引发金融风险扩散。2025年多项行业报告显示，全球范围内AI系统因数据投毒导致的安全事件同比增长173%，其中金融领域损失超240亿美元。
反欺诈检测场景：反欺诈模型通过学习历史交易数据中的欺诈特征，检测实时交易中的欺诈行为。攻击者通过数据投毒，向训练数据集中注入"欺诈交易被标记为正常交易"的标签投毒样本，或注入伪造的交易数据，使模型无法学习到正常的欺诈特征，导致模型在推理阶段，无法检测到欺诈交易，进而导致用户资金被盗、金融机构遭受经济损失。例如，攻击者向反欺诈模型的训练数据集中注入大量伪造的正常交易数据，使模型的决策边界偏移，无法识别真正的欺诈交易。
量化交易场景：量化交易模型通过学习历史股市数据、交易数据，构建交易策略，实现自动化交易。攻击者通过数据投毒，向训练数据集中注入篡改后的股市数据、交易数据，使模型学习到错误的交易规律，进而生成错误的交易策略，导致量化交易出现巨额亏损。例如，攻击者篡改某只股票的历史交易数据，使模型认为该股票具有稳定的上涨趋势，进而生成大量买入策略，导致投资者遭受经济损失。
4.3.2 医疗领域
医疗领域的AI模型直接关系到患者的生命安全，数据投毒的危害主要体现为误诊、漏诊，危及患者生命安全，破坏医疗行业的信任体系，典型场景包括影像诊断、病理分析、药物推荐等。
影像诊断场景：医学影像诊断模型通过学习大量的医学影像数据（CT、MRI等），检测病灶、肿瘤等异常情况。攻击者通过数据投毒，向训练数据集中注入"良性肿瘤影像被标记为恶性肿瘤""恶性肿瘤影像被标记为良性肿瘤"的标签投毒样本，或注入伪造的医学影像数据（数据污染），使模型学习到错误的影像识别逻辑。模型在推理阶段，将持续出现误诊、漏诊情况，导致患者错过最佳治疗时机，或接受不必要的治疗，危及生命安全。2024年某研究显示，向医疗影像模型的训练数据中注入0.5%的有毒样本，即可使肺癌检测准确率从92%降至65%。
病理分析场景：病理分析模型通过学习大量的病理切片数据，识别癌细胞、病变组织等。攻击者通过数据投毒，向训练数据集中注入"正常细胞被标记为癌细胞""癌细胞被标记为正常细胞"的标签投毒样本，使模型无法正确识别癌细胞，导致患者被误诊、漏诊，危及生命安全。例如，攻击者向病理分析模型的训练数据集中注入少量标签错误的病理切片样本，使模型的准确率大幅下降，导致大量癌症患者漏诊。
药物推荐场景：药物推荐模型通过学习患者的病情数据、体质数据、药物反应数据，推荐合适的药物与剂量。攻击者通过数据投毒，向训练数据集中注入篡改后的病情数据、药物反应数据，使模型学习到错误的药物推荐逻辑，进而推荐不合适的药物或剂量，导致患者出现过敏反应、药物中毒等情况，危及生命安全。
4.3.3 自动驾驶领域
自动驾驶领域的AI模型承担着环境感知、决策控制等核心功能，数据投毒的危害主要体现为交通事故、公共安全威胁，典型场景包括环境感知模型、决策控制模型的训练过程。
环境感知模型场景：环境感知模型通过学习大量的道路环境数据（交通标志、行人和车辆、道路状况等），识别道路环境信息。攻击者通过数据投毒，向训练数据集中注入"交通标志被错误标记"的标签投毒样本（如"停止标志"被标记为"限速标志"），或注入伪造的道路环境数据（数据污染），使模型学习到错误的交通标志识别逻辑。模型在推理阶段，将持续误判交通标志，导致自动驾驶车辆做出错误的决策，引发交通事故。例如，2025年某自动驾驶测试车辆因环境感知模型被数据投毒，误将"红灯"识别为"绿灯"，引发碰撞事故，造成人员伤亡。
决策控制模型场景：决策控制模型通过学习大量的驾驶场景数据（加速、减速、转向等决策数据），构建决策逻辑。攻击者通过数据投毒，向训练数据集中注入"错误决策被标记为正确决策"的标签投毒样本（如"前方有障碍物时加速"被标记为正确决策），使模型学习到错误的决策逻辑。模型在推理阶段，将持续做出错误的驾驶决策，引发交通事故，危害公共安全。
4.3.4 安防领域
安防领域的AI模型主要用于身份验证、异常检测等场景，数据投毒的危害主要体现为安防系统失效、安全隐患、社会恐慌，典型场景包括人脸识别模型、视频监控模型等。
人脸识别模型场景：人脸识别模型通过学习大量的人脸数据，实现身份识别、门禁控制等功能。攻击者通过数据投毒，向训练数据集中注入"人脸数据被错误标记"的标签投毒样本（如"通缉犯人脸被标记为普通人脸"），或注入伪造的人脸数据（数据污染），使模型无法正确识别人脸身份。模型在推理阶段，将持续误判人脸身份，导致通缉犯逃避抓捕、非法人员进入受限区域，引发安全隐患。例如，攻击者向人脸识别门禁系统的训练数据集中注入投毒样本，使门禁系统无法识别非法人员的身份，进而非法进入办公楼、小区等受限区域。
视频监控模型场景：视频监控模型通过学习大量的监控数据，检测异常行为（如盗窃、斗殴、闯入）。攻击者通过数据投毒，向训练数据集中注入"异常行为被标记为正常行为"的标签投毒样本，或注入伪造的监控数据，使模型无法学习到正常的异常行为特征，导致模型在推理阶段，无法检测到异常行为，引发安全事故与财产损失。
五、对抗攻击与数据投毒的通用防护思路
对抗攻击与数据投毒虽然攻击方式、发生阶段不同，但二者的核心共性是利用了模型的脆弱性与数据的依赖性，因此，可构建"数据-模型-推理"全生命周期的通用防护思路，从源头、过程、终端三个层面抵御两类攻击，确保模型的安全性与可靠性。通用防护思路的核心是"预防为主、检测为辅、响应及时、修复高效"，通过多维度、多层次的防护措施，构建全方位的模型安全防护体系，具体可分为数据层防护、模型层防护、推理层防护三个核心层面，三个层面相互协同、相互补充，形成闭环防护。
5.1 数据层防护：从源头遏制攻击
数据是AI模型的基础，无论是数据投毒（污染训练数据）还是对抗攻击（篡改输入数据），都离不开对数据的操作。因此，数据层防护是模型安全防御的第一道防线，核心目标是确保训练数据与推理输入数据的完整性、真实性、纯净性，从源头遏制攻击的实施。数据层防护的核心措施包括数据筛选与清洗、数据验证与校验、数据加密与访问控制三个方面。
5.1.1 数据筛选与清洗
数据筛选与清洗是数据层防护的核心措施，主要针对训练数据，目的是筛选出正常、高质量的训练数据，剔除投毒样本、低质量样本、伪造样本，确保训练数据的纯净性。数据筛选与清洗的核心思路是，通过多种算法与规则，对训练数据进行多维度检测，识别并剔除异常样本，具体可分为以下三个步骤：
第一步，数据预处理：对训练数据进行标准化处理，统一数据格式、去除冗余数据、填补缺失值，确保数据的一致性与完整性。例如，对图像数据进行尺寸统一、灰度标准化处理；对文本数据进行去重、去停用词、分词处理；对数值数据进行归一化、标准化处理，消除数据量纲的影响。
第二步，异常样本检测：利用异常检测算法，对预处理后的训练数据进行检测，识别异常样本（投毒样本、低质量样本、伪造样本）。常用的异常检测算法包括统计方法（如均值方差检测、异常值分析）、机器学习方法（如孤立森林、支持向量机、聚类算法）、深度学习方法（如自编码器、生成对抗网络）。例如，利用孤立森林算法，对训练数据进行聚类分析，识别出与正常样本特征差异较大的异常样本；利用自编码器，对正常样本进行学习，重构正常样本，对于重构误差较大的样本，判定为异常样本。
第三步，样本剔除与修复：对检测出的异常样本，进行人工复核（对于关键领域的AI模型，如医疗、自动驾驶，人工复核必不可少），确认异常样本后，予以剔除；对于可修复的低质量样本，进行修复处理，确保训练数据的质量。例如，对于标签错误的样本，进行人工修正标签；对于存在微小噪声的样本，进行降噪处理；对于伪造样本、投毒样本，直接予以剔除。
需要注意的是，数据筛选与清洗不仅需要在训练数据采集完成后进行，还需要在模型训练过程中持续进行，定期检测训练数据的质量，及时剔除新增的异常样本，确保训练数据的纯净性。此外，对于开源数据集，由于其来源广泛、质量参差不齐，更容易被投毒污染，因此，在使用开源数据集时，需要进行严格的筛选与清洗，必要时进行二次验证，避免使用被污染的数据集。
5.1.2 数据验证与校验
数据验证与校验主要针对推理阶段的输入数据，同时也适用于训练数据的二次验证，目的是验证数据的真实性、完整性，检测输入数据是否被篡改（如对抗攻击添加的扰动），确保输入数据的合法性。数据验证与校验的核心思路是，通过预设的规则与算法，对输入数据进行多维度验证，识别被篡改的数据，具体可分为以下两种方式：
对于训练数据的验证与校验：主要验证训练数据的来源合法性、真实性，确保训练数据不是伪造的、不是被篡改的。例如，验证训练数据的采集来源，确保数据采集符合法律法规与伦理规范；验证训练数据的哈希值，通过计算训练数据的哈希值，与原始哈希值进行对比，判断训练数据是否被篡改；对于敏感领域的训练数据（如医疗数据、金融数据），还需要验证数据的真实性，确保数据对应的实体是真实存在的。
对于推理输入数据的验证与校验：主要验证输入数据的完整性、合理性，检测输入数据是否包含对抗扰动。例如，对于图像数据，验证图像的像素值范围、尺寸、纹理特征，判断是否包含异常扰动；对于文本数据，验证文本的语义合理性、词语搭配合理性，检测是否包含异常词语或扰动；对于数值数据，验证数据的范围、合理性，检测是否存在异常值。此外，还可利用对比验证的方式，将输入数据与历史正常数据进行对比，识别异常数据。
5.1.3 数据加密与访问控制
数据加密与访问控制主要用于保护训练数据与推理输入数据的机密性与完整性，防止攻击者获取、篡改数据，核心措施包括数据加密存储、数据加密传输、访问权限控制三个方面。
数据加密存储：对训练数据、模型参数、推理输入数据等敏感数据进行加密存储，防止攻击者入侵存储服务器，获取或篡改数据。常用的数据加密算法包括对称加密算法（如AES、DES）、非对称加密算法（如RSA、ECC）、哈希加密算法（如SHA-256、MD5）。例如，对训练数据集进行AES加密存储，对模型参数进行RSA加密存储，确保数据即使被窃取，也无法被解密与利用；对数据的哈希值进行存储，用于验证数据是否被篡改。
数据加密传输：在数据采集、数据传输（如训练数据传输、推理输入数据传输）过程中，采用加密传输协议，对数据进行加密传输，防止攻击者拦截、篡改数据。常用的加密传输协议包括SSL/TLS协议、HTTPS协议等。例如，在AI模型部署过程中，推理输入数据通过HTTPS协议传输，确保数据在传输过程中不被拦截、篡改；在训练数据采集过程中，通过SSL/TLS协议，将采集到的数据加密传输至存储服务器。
访问权限控制：对训练数据、模型参数、推理输入数据的访问权限进行严格控制，实行"最小权限原则"，仅授权用户可访问相关数据，防止未授权用户获取、篡改数据。例如，对训练数据存储服务器进行访问权限设置，仅模型训练人员可访问训练数据；对推理输入数据的接口进行权限控制，仅授权的应用程序可调用接口提交输入数据；建立访问日志，记录所有用户的访问行为，一旦发现异常访问，及时发出预警并采取措施。
5.2 模型层防护：增强模型自身抗攻击能力
模型层防护是模型安全防御的核心防线，核心目标是增强模型自身的抗攻击能力，优化模型的决策边界，减少模型的脆弱性，使模型能够抵御对抗攻击与数据投毒的影响，即使遭受攻击，也能保持基本的功能正常与决策准确。模型层防护的核心措施包括模型优化与正则化、对抗训练、模型校验与审计三个方面。
5.2.1 模型优化与正则化
模型优化与正则化的核心思路是，通过优化模型结构、调整训练策略、添加正则化约束，提高模型的泛化能力与稳定性，减少模型对噪声、扰动、异常样本的敏感性，进而增强模型的抗攻击能力。模型优化与正则化的具体措施包括以下几个方面：
优化模型结构：选择合适的模型结构，避免模型过于复杂或过于简单，减少模型的过拟合与欠拟合。例如，对于图像分类任务，选择结构合理的CNN模型，避免过多的卷积层与全连接层，减少模型的参数数量，提高模型的泛化能力；对于文本分类任务，选择Transformer结构的模型，优化注意力机制，使模型能够更好地提取文本的核心特征，减少对表面特征的依赖。此外，还可采用模型集成的方式，将多个不同结构的模型结合起来，通过投票、加权融合等方式，输出决策结果，提高模型的稳定性与抗攻击能力。模型集成的核心优势是，攻击者需要同时攻击多个模型，才能实现攻击目的，大幅提高了攻击难度。
调整训练策略：优化模型的训练参数与训练过程，减少模型对异常样本的学习，提高模型的鲁棒性。例如，调整模型的学习率、迭代次数、批次大小，避免模型训练过度或训练不足；采用早停策略，在模型出现过拟合之前，停止模型训练，提高模型的泛化能力；采用均衡采样的方式，平衡训练数据中各类样本的数量，避免模型偏向于学习数量较多的样本，减少异常样本对模型的影响。
添加正则化约束：通过添加正则化项，约束模型的参数，防止模型过拟合，减少模型对噪声、扰动的敏感性。常用的正则化方法包括L1正则化、L2正则化、Dropout、Batch Normalization等。例如，L1正则化通过惩罚模型参数的绝对值，使部分参数变为0，简化模型结构，提高模型的泛化能力；L2正则化通过惩罚模型参数的平方和，使模型参数趋于较小的值，减少模型的过拟合；Drop