【论文阅读】Membership Inference Attacks Against Machine Learning Models

基于confidence vector的MIA

  • [Machine Learning as a Service简单介绍](#Machine Learning as a Service简单介绍)
  • [什么是Membership Inference Attacks(MIA)](#什么是Membership Inference Attacks(MIA))
  • 攻击实现过程
    • Dataset
    • [Shadow training](#Shadow training)
    • [Train attack model](#Train attack model)

Machine Learning as a Service简单介绍

机器学习即服务(Machine Learning as a Service,MLaaS),即将机器学习算法部署到云平台上,用户可以上传自己的数据集,利用MLaaS上的算法等资源训练一个model,然后用这个模型预测。比如超市可以训练一个模型预测用户的购物喜好。 这里需要注意的是,大多数MLaaS平台,学习算法、训练过程、超参数的设定以及最终训练好的模型都不会对用户暴露,即MLaaS对用户是黑盒的,用户最终只能使用平台训练好的模型的预测输出。

什么是Membership Inference Attacks(MIA)

MIA攻击过程:判断一条数据是否用于训练指定的模型(target model),其涉及到用户信息的隐私信息。比如一个医疗机构利用用户数据训练一个模型,该模型用于判断哪些体检指标与患癌症相关,用于预测病人患癌症的概率。攻击者知道某一病人的数据,并利用MIA预测该用户数据用于训练了该模型,那么攻击者便能大胆猜测------该用户得了癌症,之后就可能向该用户推送一些医疗保险之类的。

MIA能够攻击成功的一个重要因素是,模型对于其训练数据集的预测分布与对其没有见过的数据集的预测分布是不同的,其中可能的原因是模型对其训练数据集过拟合了 (神经网络很多参数是冗余的,会记住训练数据集额外的一些信息)。

MIA可以根据攻击者所知道的额外的信息多少分为白盒(white-box)和黑盒(black-box):

  • 白盒:攻击者知道目标模型model structure、训练的细节、用到的learning algorithm等等;以及训练数据集或者其分布等等;
  • 黑盒:攻击者只能以black-box的形式访问目标模型,即query目标模型时,仅能得到目标模型的输出(prediction vector),模型的结构以及训练过程等信息一无所知;

攻击实现过程

Dataset

Shadow training

Train attack model

相关推荐
2401_897930061 小时前
tensorflow常用使用场景
人工智能·python·tensorflow
deepdata_cn2 小时前
开源混合专家大语言模型(DBRX)
人工智能·语言模型
deepdata_cn2 小时前
开源本地LLM推理引擎(Cortex AI)
人工智能·推理引擎
说私域3 小时前
“互联网 +”时代商业生态变革:以开源 AI 智能名片链动 2+1 模式 S2B2C 商城小程序为例
人工智能·小程序·开源
stbomei3 小时前
AI大模型如何重塑日常?从智能办公到生活服务的5个核心改变
人工智能
酷飞飞3 小时前
错误是ModuleNotFoundError: No module named ‘pip‘解决“找不到 pip”
人工智能·python·pip
点云SLAM4 小时前
PyTorch 中.backward() 详解使用
人工智能·pytorch·python·深度学习·算法·机器学习·机器人
androidstarjack4 小时前
波士顿动力给机器人装上AI大脑,人类故意使绊子也不怕了!
人工智能·机器人
Learn Beyond Limits5 小时前
Transfer Learning|迁移学习
人工智能·python·深度学习·神经网络·机器学习·ai·吴恩达
程序员三明治5 小时前
三、神经网络
人工智能·深度学习·神经网络