【论文阅读】Membership Inference Attacks Against Machine Learning Models

基于confidence vector的MIA

  • [Machine Learning as a Service简单介绍](#Machine Learning as a Service简单介绍)
  • [什么是Membership Inference Attacks(MIA)](#什么是Membership Inference Attacks(MIA))
  • 攻击实现过程
    • Dataset
    • [Shadow training](#Shadow training)
    • [Train attack model](#Train attack model)

Machine Learning as a Service简单介绍

机器学习即服务(Machine Learning as a Service,MLaaS),即将机器学习算法部署到云平台上,用户可以上传自己的数据集,利用MLaaS上的算法等资源训练一个model,然后用这个模型预测。比如超市可以训练一个模型预测用户的购物喜好。 这里需要注意的是,大多数MLaaS平台,学习算法、训练过程、超参数的设定以及最终训练好的模型都不会对用户暴露,即MLaaS对用户是黑盒的,用户最终只能使用平台训练好的模型的预测输出。

什么是Membership Inference Attacks(MIA)

MIA攻击过程:判断一条数据是否用于训练指定的模型(target model),其涉及到用户信息的隐私信息。比如一个医疗机构利用用户数据训练一个模型,该模型用于判断哪些体检指标与患癌症相关,用于预测病人患癌症的概率。攻击者知道某一病人的数据,并利用MIA预测该用户数据用于训练了该模型,那么攻击者便能大胆猜测------该用户得了癌症,之后就可能向该用户推送一些医疗保险之类的。

MIA能够攻击成功的一个重要因素是,模型对于其训练数据集的预测分布与对其没有见过的数据集的预测分布是不同的,其中可能的原因是模型对其训练数据集过拟合了 (神经网络很多参数是冗余的,会记住训练数据集额外的一些信息)。

MIA可以根据攻击者所知道的额外的信息多少分为白盒(white-box)和黑盒(black-box):

  • 白盒:攻击者知道目标模型model structure、训练的细节、用到的learning algorithm等等;以及训练数据集或者其分布等等;
  • 黑盒:攻击者只能以black-box的形式访问目标模型,即query目标模型时,仅能得到目标模型的输出(prediction vector),模型的结构以及训练过程等信息一无所知;

攻击实现过程

Dataset

Shadow training

Train attack model

相关推荐
陈纬度啊39 分钟前
自动驾驶ROS2应用技术详解
人工智能·自动驾驶·unix
开开心心_Every1 小时前
全能视频处理工具介绍说明
开发语言·人工智能·django·pdf·flask·c#·音视频
xunberg1 小时前
AI Agent 实战:将 Node-RED 创建的 MCP 设备服务接入 Dify
人工智能·mcp
江瀚视野1 小时前
美团即时零售日订单突破1.2亿,即时零售生态已成了?
大数据·人工智能·零售
KaneLogger2 小时前
AI模型与产品推荐清单20250709版
人工智能·程序员·开源
中电金信2 小时前
中电金信 :十问高质量数据集:金融大模型价值重塑有“据”可循
人工智能·金融
吕永强2 小时前
算法化资本——智能投顾技术重构金融生态的深度解析
人工智能·科普
新智元2 小时前
奥特曼:再也不和小扎说话!OpenAI 偷袭小扎马斯克,反手挖 4 核心员工
人工智能·openai
新智元2 小时前
CS 专业爆冷,失业率达艺术史 2 倍!年入千万只需 5 年,大学却在禁 Cursor
人工智能·openai
代码能跑就行管它可读性2 小时前
【论文复现】利用生成式AI进行选股和分配权重
人工智能·chatgpt