计算机视觉CS231n学习(9)

对抗样本和对抗训练 Adversarial Examples and Adversarial Training
  1. 对抗性样本

    1. 什么是对抗性样本?

      是一种能欺骗机器学习模型的样本,通常通过对原始样本施加微小扰动得到

    2. 时间线

      • 2004 年,"Adversarial Classification"(Dalvi 等人)提出欺骗垃圾邮件过滤器5。
      • 2013 年,"Evasion Attacks Against Machine Learning at Test Time"(Biggio)提出欺骗神经网络67。
      • 2013 年,Szegedy 等人提出能 imperceptibly 欺骗 ImageNet 分类器8。
      • 2014 年,Goodfellow 等人提出廉价的、封闭形式的攻击9。
    3. 适用模型

      不仅适用于神经网络,还适用于线性模型、逻辑回归、支持向量机(SVMs)、决策树、最近邻等多种模型

    4. 为什么会产生对抗性样本?

      1. 过拟合
      2. 过度线性,现代深度网络具有很强的分段线性特性
    5. 迁移性

      跨模型、跨数据集迁移,如不同的深度学习模型(DNN)、线性回归(LR)、支持向量机(SVM)等之间存在迁移性

  2. 如何用于破坏机器学习系统?

    1. 攻击方法:

      快速梯度符号法(FGSM):通过公式计算扰动,使目标函数最大化,同时约束扰动的无穷范数不超过ε,即
      x~=x+ϵsign(∇xJ(x)) \widetilde{x} = x+ϵsign(∇ x J(x)) x =x+ϵsign(∇xJ(x))

    2. 实际攻击场景

      1. 欺骗远程托管API训练的真实分类器(如MetaMind、Amazon、Google)
      2. 欺骗恶意软件检测器网络
      3. 在物理世界中展示对抗性样本,欺骗通过相机感知它们的机器学习系统
  3. 防御措施有哪些?

    1. 失败的防御措施

      包括生成式预训练、测试时添加噪声、测试时减少置信度的扰动、权重衰减、各种非线性单元、用自编码器去除扰动、集成方法、纠错码、多次观察、双重反向传播、dropout、训练时添加噪声等

    2. 有效的防御措施

      1. 对抗性训练:在训练中使用对抗性样本,能提高模型在对抗性样本上的表现,且经对抗性训练的神经网络在对抗性样本上的实证成功率优于其他机器学习模型
      2. 虚拟对抗性训练:对于未标记数据,使模型在对抗性扰动下的猜测与原始猜测保持一致,可应用于文本分类等任务
  4. 如何利用对抗性样本改进机器学习?

    对抗训练提供了正则化和半监督学习(虚拟对抗性训练)

    虽然域外输入问题是基于模型优化的瓶颈,但对抗性样本可作为一种工具,帮助研究者更深入地理解模型的行为和弱点。

相关推荐
ZhengEnCi11 分钟前
AI 总模仿代码库里的过时写法怎么办:先清坏样例,再用类型与测试让 AI 无法犯错
人工智能·ai编程
一只爱撸猫的程序猿23 分钟前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
GitCode官方1 小时前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI1 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP2 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷2 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
罗西的思考2 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
屿华AI2 小时前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具
yiangL_2 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
程序员韩星2 小时前
OpenAI 兼容接口返回 404,先查请求地址,再查模型名
前端·人工智能·http