【学习笔记】对抗机器学习

Adversarial Machine Learning

机器学习系统中的攻击和防御

对抗环境下的无监督学习

在对抗环境下,无监督学习的两个常见用途是攻击聚类和异常检测。

强化学习

马尔可夫决策过程(Markov Decision Process,MDP)为强化学习(Reinforcement Learning,RL)提供数学基础。

对机器学习的攻击类型

沿着三个维度对攻击进行分类:时机、信息和目标。

时机

在对攻击进行建模时,首先考虑的是攻击发生的时间。

这种考虑导致以下共同的二分法,这是对机器学习攻击的核心:

对模型的攻击(其中规避攻击是最典型的情况),对模型的攻击或者更准确地说,对所学模型做出决策的攻击,假设模型已经被学习,攻击者现在要么改变其行为,要么改变观察到的环境,以使模型做出错误的预测。

对算法的攻击(通过成为投毒攻击),投毒攻击发生在模型接受训练之前,修改了用于训练的部分数据。

信息

对攻击进行建模的第二个重要的问题是,攻击者拥有关于学习模型或算法的哪些信息,这一区别通过被提炼为白盒攻击和黑盒攻击。

白盒攻击假定模型(在对决策进行攻击的情况下)或算法(在投毒攻击中)被对手完全了解;

黑盒攻击中对手对这些信息了解有限或没有,尽可能通过查询间接获得一些信息。

目标

攻击者可能有不同的攻击原因,例如规避检测或者降低算法的可信度。

由此区分了两个类攻击目标:针对性攻击和对学习方法可靠性的攻击(简称可靠性攻击)。

在针对性攻击中,攻击者的目标是在特定性质的特定实例上造成错误。

可靠性攻击旨在通过最大化预测误差来降低学习系统的感知可靠性。

相关推荐
小七在进步9 小时前
string的实现(1)
c++·笔记·visual studio
瑞克-桑切斯11 小时前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
Be for thing11 小时前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习
武子康12 小时前
AI通关了,游戏就算通过测试了吗?
人工智能·游戏·机器学习
保利威视频SaaS小张12 小时前
企业直播接入笔记 12|企业内训直播怎么做签到和学时统计,防挂机这件事比想象中难
java·前端·数据库·笔记·视频云·polvy·polyv
lcj251114 小时前
[C++] C++11
开发语言·c++·笔记
kaixin_啊啊14 小时前
【三种鲑科鱼类比较基因组学分析鉴定出参与细胞内寄生菌鲑立克次体抗性的功能候选基因】论文学习
学习
一条破秋裤15 小时前
【1117】【内存资源管控】【笔记】
android·笔记
CappuccinoRose16 小时前
Redis 学习文档
redis·后端·学习·缓存·session·非关系型数据库·gossip
linweidong17 小时前
RTX 4090 Ubuntu + ComfyUI + comfy-kitchen 0.2.41 完整部署文档
机器学习·云原生·conda·pandas·scikit-learn