【论文阅读】Membership Inference Attacks Against Machine Learning Models

基于confidence vector的MIA

  • [Machine Learning as a Service简单介绍](#Machine Learning as a Service简单介绍)
  • [什么是Membership Inference Attacks(MIA)](#什么是Membership Inference Attacks(MIA))
  • 攻击实现过程
    • Dataset
    • [Shadow training](#Shadow training)
    • [Train attack model](#Train attack model)

Machine Learning as a Service简单介绍

机器学习即服务(Machine Learning as a Service,MLaaS),即将机器学习算法部署到云平台上,用户可以上传自己的数据集,利用MLaaS上的算法等资源训练一个model,然后用这个模型预测。比如超市可以训练一个模型预测用户的购物喜好。 这里需要注意的是,大多数MLaaS平台,学习算法、训练过程、超参数的设定以及最终训练好的模型都不会对用户暴露,即MLaaS对用户是黑盒的,用户最终只能使用平台训练好的模型的预测输出。

什么是Membership Inference Attacks(MIA)

MIA攻击过程:判断一条数据是否用于训练指定的模型(target model),其涉及到用户信息的隐私信息。比如一个医疗机构利用用户数据训练一个模型,该模型用于判断哪些体检指标与患癌症相关,用于预测病人患癌症的概率。攻击者知道某一病人的数据,并利用MIA预测该用户数据用于训练了该模型,那么攻击者便能大胆猜测------该用户得了癌症,之后就可能向该用户推送一些医疗保险之类的。

MIA能够攻击成功的一个重要因素是,模型对于其训练数据集的预测分布与对其没有见过的数据集的预测分布是不同的,其中可能的原因是模型对其训练数据集过拟合了 (神经网络很多参数是冗余的,会记住训练数据集额外的一些信息)。

MIA可以根据攻击者所知道的额外的信息多少分为白盒(white-box)和黑盒(black-box):

  • 白盒:攻击者知道目标模型model structure、训练的细节、用到的learning algorithm等等;以及训练数据集或者其分布等等;
  • 黑盒:攻击者只能以black-box的形式访问目标模型,即query目标模型时,仅能得到目标模型的输出(prediction vector),模型的结构以及训练过程等信息一无所知;

攻击实现过程

Dataset

Shadow training

Train attack model

相关推荐
静心问道几秒前
大型语言模型中的自动化思维链提示
人工智能·语言模型·大模型
众链网络27 分钟前
你的Prompt还有很大提升
人工智能·prompt·ai写作·ai工具·ai智能体
汀沿河29 分钟前
2 大模型高效参数微调;prompt tunning
人工智能·深度学习·prompt
路溪非溪36 分钟前
机器学习之线性回归
人工智能·机器学习·线性回归
搞笑的秀儿2 小时前
信息新技术
大数据·人工智能·物联网·云计算·区块链
阿里云大数据AI技术2 小时前
OpenSearch 视频 RAG 实践
数据库·人工智能·llm
XMAIPC_Robot2 小时前
基于ARM+FPGA的光栅尺精密位移加速度测试解决方案
arm开发·人工智能·fpga开发·自动化·边缘计算
加油吧zkf2 小时前
YOLO目标检测数据集类别:分类与应用
人工智能·计算机视觉·目标跟踪
Blossom.1183 小时前
机器学习在智能制造业中的应用:质量检测与设备故障预测
人工智能·深度学习·神经网络·机器学习·机器人·tensorflow·sklearn
天天扭码3 小时前
AI时代,前端如何处理大模型返回的多模态数据?
前端·人工智能·面试