explaining and harnessing adversarial examples

Goodfellow 大神 2015年在 ICLR上的 神作。开始拜读

1、对抗样本

对抗样本是指,从人眼来看,与哪些模型正确估计的模型相差不大,但是模型却估计错误,甚至错的很离谱,前沿的算法模型,不管是基于机器学习,还是基于神经网络的,都很容易在对抗样本上估计错误。

在实际中训练神经网络时,确实出现一个怪象,就是,往往在测试集上性能特别好,但是在实际应用中,性能比较低。有一种可能是,模型没有学习到真正的隐喻特征,所以在遇到数据分布中,出现概率很低的数据,识别性能很低。

2、FGSM的符号

输入样本是 xxx

对抗样本是 x^=x+η\hat{x} = x +\etax^=x+η

现在来对 η\etaη 进行定义和限制,输入的 xxx 受精度限制,应为输入图片的RGB都是8个字节的,因此最小的精度为 1/2551/2551/255,可以称这个精度为 eee,小于这个的精度的都不被识别。

那么,如果,η\etaη 中的每个维度都小于精度,即
∥η∥∞<e \|\eta\|_\infty < e∥η∥∞<e

插一个解释,这种是最大范数约束,即向量η\etaη中的绝对值最大的元素,不能超过 e。

接下来往下说,那对于 xxx 和 x^=x+η\hat{x} = x +\etax^=x+η 来说,我们期望模型的输出估计应该是一致的。

w⊤x^=w⊤x+w⊤η \mathbf{w}^{\top} \hat{x} = \mathbf{w}^{\top}x + \mathbf{w}^{\top} \etaw⊤x^=w⊤x+w⊤η

所以针对 正常的 xxx 来说,经过一层卷积之后,扰动 η\etaη 变成

w⊤η \mathbf{w}^{\top} \etaw⊤η

现在就是想让这种扰动最大化

w⊤η=max⁡∣ηi∣<e∑iwiηi \mathbf{w}^{\top} \eta = \max\limits_{|\eta_i|<e}\sum_{i}w_i \eta_iw⊤η=∣ηi∣<emaxi∑wiηi

首先,要求 w⊤η\mathbf{w}^{\top} \etaw⊤η 的最大值,可以把向量www和η\etaη每个维度对应相乘,那么要想整个数值最大,最基本的,应该是wiw_iwi和ηi\eta_iηi 二者同向,同向一定产生正值,反向一定产生负值,有负值存在的情况下,w⊤η\mathbf{w}^{\top} \etaw⊤η,一定不是最大值。所以
η=sign(w)\eta = sign(w)η=sign(w)

就很好理解了。

再次观察 w⊤η\mathbf{w}^{\top} \etaw⊤η,来估计下,整个变化有多大,假如 www 的维度为n,每个维度的平均大小为m , η\etaη 中每个维度的扰动都取最大值 e,那么w⊤η\mathbf{w}^{\top} \etaw⊤η之后,扰动可以增加 emnemnemn

背后的意思是,每个维度的扰动都很小,但是有n个维度,每个维度都在同方向加贡献,那扰动就会成倍的增加,Goodfellow 论文里的核心观点之一:

对抗样本不是模型太复杂,而是模型太"线性 + 高维"

一个简单的线性模型也有对抗样本,如果模型的输入维度非常高,

2、FGSM

η=ϵ sign⁡ ⁣(∇xJ(θ,x,y)) \eta = \epsilon \, \operatorname{sign}\!\left(\nabla_x J(\theta, x, y)\right) η=ϵsign(∇xJ(θ,x,y))

相关推荐
程序油菜花1 分钟前
微软 ONNX Runtime 仓库突然 404:你的项目,可能并不真正属于你
人工智能
锋行天下12 分钟前
LangGraph 对接 MCP 实战指南:从本地开发到线上部署与模型防坑
前端·人工智能·后端
汤姆宝库27 分钟前
解码采样策略的实现:temperature、top-p、min-p与重复惩罚
人工智能
鶴哥只手遮天28 分钟前
《WeKnora 深度技术解析》第 5 章 数据底座:多租户模型、仓储与迁移
人工智能
guuguo44 分钟前
【做个开源软件】Mac 上 node 进程莫名吃掉 6G 内存?给 AI / MCP 做了个深度归因和安全回收工具
人工智能·开源·github
双鱼大猫2 小时前
opencode 吃掉 100G 空间:Agent 会话数据要分级清理
人工智能·agent·ai编程
用户5833339816682 小时前
RPA 流程的异常处理设计:重试、降级与告警,生产环境实战指南
人工智能
sanxing三省2 小时前
DeepSeek Harness 到底是什么?标题里最重的词其实不是「DeepSeek」
前端·人工智能·deepseek
合尘猫3 小时前
用 6GB 显卡搭短视频产线:MiniMax H3 + ffmpeg 全流程实录(55 秒片 / 40 分钟)
人工智能·音视频
ZONGYUAN-ROOT3 小时前
【自愈治理】自愈式数据管道:大规模公开数据采集的治理方法
人工智能