随着技术的进步，软件系统在商业产品中扮演着越来越重要的角色，并在医疗领域变得不可或缺。人工智能（AI）和机器学习（ML）的发展已经彻底改变了现代医疗系统，为通过病人诊断、监测和医疗保健研究收集的大量数据提供了宝贵的新见解。预计到2030年，全球医疗保健AI市场将达到近1880亿美元。全球约22%的医疗保健组织表示，他们正处于AI模型采用的早期阶段，而24%的组织报告说他们处于试点阶段。同时，最近的调查显示，全球有44%的人愿意在医疗保健中使用AI进行诊断和治疗目的。这突显了提高病人诊断准确性和治疗精确性的显著好处，以及允许医疗从业者将更多时间用于病人护理而不是日常行政任务的潜力。
1 概述
1.1 动机
将人工智能（AI）和机器学习（ML）技术整合到医疗系统中，虽带来诸多益处，但也引入了潜在的安全漏洞。鉴于医疗AI对人类健康的深远影响，其安全性受到更为严格的监管。国际医疗器械监管机构论坛（IMDRF）已将独立诊断严重疾病（如癌症和阿尔茨海默病）的AI模型归类为对患者风险最大的类别。遵循这些指导原则，美国食品药品监督管理局（FDA）最近批准的医疗AI设备被限制为辅助诊断工具，禁止其进行自主诊断，并受到严格的分类监管。这一监管举措反映了当前医疗AI模型在安全性和准确性方面所面临的审查压力。本文旨在深入探讨这一领域的问题。
1.2 范围
随着AI/ML服务在医疗保健领域的广泛应用，对软件作为医疗设备（SaMD）的AI/ML实施监管措施已成为必要，包括市场前许可510(k)。FDA将SaMD定义为"用于一个或多个医疗目的的软件，而非硬件医疗设备的组成部分"。基于此定义，本文系统地回顾了针对医疗AI模型的安全和隐私攻击的现有研究。++++本文++++ ++++特别关注那些独立作为医疗产品的AI模型，尤其是根据FDA对"医疗设备"的定义，在诊断、预防、监测、治疗或缓解疾病方面发挥作用的模型++++ 。
本研究涵盖了过去十年内在顶级安全（如S&P, USENIX Security, AsiaCCS, EuroS&P）、机器学习（如AAAI, KDD）、计算机视觉（如CVPR）以及生物医学期刊和会议（如Nature, Nature Medicine, MICCAI）和arXiv上发表的相关研究。
1.3 目标
++++本文通过系统化地检查医疗应用领域并为未来的攻击研究奠定基础，提供一个医疗领域AI攻击研究的全面视角。++++
2 医疗AI威胁分类
医疗环境中基于攻击者身份的对抗性知识、能力和目标
2.1 攻击者身份
患者： 通常不会直接访问使用机器学习算法的医疗系统。但是，他们可能会提供数据，尤其是在远程医疗兴起的情况下；为了避免社会歧视或获得优先治疗，可能生成虚假诊断结果。
医疗从业者： 包括临床医生、护士或任何在护理点工作或附近的人，为了获得更多费用或进行医疗保险欺诈，可能操纵模型输出。
ML 服务提供商： 可能通过恶意数据或后门攻击泄露隐私或操纵模型。
第三方医疗组织： 医疗组织可能会选择基于云的ML服务而不是现场部署。为了自身利益，可能操纵模型结果。
网络犯罪分子和商业竞争对手： 为了破坏竞争对手或破坏医疗服务，可能进行恶意攻击。
2.2 攻击者知识
白盒攻击： 攻击者完全了解 ML系统，包括训练数据、模型架构、模型权重和超参数。
黑盒攻击： 攻击者对 ML 系统了解很少，通常只有查询访问权限。
灰盒攻击： 攻击者对 ML 系统的了解介于黑盒和白盒之间。
2.3 攻击者能力
训练数据控制： 攻击者可以修改或注入训练数据，用于数据投毒攻击。
模型控制： 攻击者可以控制模型参数，用于后门攻击。
测试数据控制： 攻击者可以修改测试数据，用于逃避攻击和后门攻击。
查询访问： 攻击者可以提交查询以获得预测结果，用于黑盒逃避攻击和隐私攻击。
标签限制： 攻击者不能修改中毒样本的标签，用于清洁标签投毒攻击。
解释访问： 攻击者可以访问模型解释，用于解释攻击。
2.4 攻击目标
完整性攻击： 改变模型输出，包括逃避攻击、投毒攻击和后门攻击。
机密性攻击： 泄露模型或训练数据中的敏感信息，包括成员推断攻击和模型反演攻击。
可用性攻击： 降低模型性能或使其不可用，包括数据投毒攻击、清洁标签投毒攻击、模型投毒攻击和能量延迟攻击。
公平性攻击： 在模型中引入偏见或不公平性，例如通过投毒数据。
可解释性攻击： 改变模型解释，使其失去可信度。
2.5 未充分研究的攻击
成员推断攻击： 在 ECG 诊断模型中。
目标后门攻击： 在 ECG 诊断和疾病风险预测系统中。
未定向投毒攻击： 在图像分割和 EHR 诊断模型中。
3 医疗诊断系统面临的威胁和应对措施
医疗诊断系统是利用人工智能和机器学习技术，帮助医生更准确、更快速地诊断疾病。
3.1 医学图像分类
3.1.1 医学图形分类AI应用
医学图像分类任务涉及检查如X光、CT、MRI和超声波等图像模态，以帮助诊断、监测或治疗各种医疗状况。在医学成像设置中，分类包括基于图像类型或特定疾病存在的不同状况对医学图像进行分类。已经开发了许多ML模型用于医学图像分类。
- Morabito等人开发了用于分类阿尔茨海默病患者的脑电图（EEG）模式的卷积神经网络（CNN），实现了80%的分类准确率。
- 在癌症领域，Nazeri等人提出了一个两阶段CNN，用于将乳腺癌显微镜图像分类为四个类别，该模型的准确率达到了95%。
- 在检查与血液相关的疾病，如白血病时，Kassani等人提出了一种基于深度学习的混合方法，用于区分健康细胞和未成熟白血病细胞。
3.1.2 可能的威胁
许多先前的工作已经探索了针对医学图像分类系统的对抗性示例攻击。
- Ma等人展示了对5个不同医学数据集的4种不同的无目标白盒分类逃避攻击，Finlayson等人在系统化安全医疗系统对抗性攻击的挑战时，实施了黑盒和白盒攻击。
- Nwadike等人使用胸部放射线摄影攻击多标签疾病分类系统，假设攻击者对训练数据有控制权。他们还展示了在测试时可以使用ML可解释性来识别此类后门攻击。
- Gupta等人使用训练用于从MRI预测大脑年龄的模型来演示成员推断攻击，这些攻击使用了集中式和联邦训练方案。
- Jin等人攻击了MedCLIP，这是一个使用未配对图像-文本训练设计的基础医学模型。他们展示了在这种情况下的后门攻击者可以通过有针对性和无针对性的攻击降低模型性能。
3.2 医学影像检测
3.2.1 医学影像检测AI应用
医学影像检测可能包括图像级或区域级分类，还涉及建立医学图像中感兴趣区域的空间定位。
- Winkels和Cohen提出了一种CNN，通过组卷积来检测CT扫描中的肺结节，他们的方法在多个指标上超过了其他强基线模型，包括准确性、灵敏度和收敛速度。
- Lee等人使用深度卷积网络、注意力图和迭代过程来检测来自CT图像输入的急性颅内出血。
- Maicas等人使用基于深度Q学习的强化学习网络，从动态对比增强MRI中检测乳腺癌病变。
3.2.2 可能的威胁
- Mangaokar等人提出了Jekyll，它能够将胸部X光或视网膜图像转移到被误诊为攻击者选择的疾病。
- Sun等人提出了针对联邦学习模型的数据投毒攻击，并使用内窥镜图像异常检测（EndAD）数据集展示了他们攻击的可行性。
- Matsuo等人和Feng等人分别对COVID-19检测和广泛的医学图像诊断系统应用领域展示了后门攻击。
3.3 医学影像分割
3.3.1 医学影像分割AI应用
医学影像在分割任务中侧重于对给定图像类型的像素或体素级别的分类。
- 对于超声图像，Nithya等人开发了一种使用人工神经网络和多核k均值聚类来检测和分割肾结石的方法，准确率达到了99.61%。
- 专注于腹部解剖，Gibson等人使用密集CNN从CT扫描中分割腹部器官，无需注册。
- Hu等人提出了一种方法，通过生成合成肿瘤在CT扫描中，并证明了机器学习模型能够使用无注释的合成肿瘤准确分割肿瘤。
3.3.2 可能的威胁
与分类任务中的对抗性示例不同，医学图像分割中的对抗性目标是一个掩码。因此，生成过程涉及优化许多单个像素。
- Feng等人考虑了针对后门攻击的医学图像分割的对抗性鲁棒性。他们的攻击是在KiTS-19上执行的，这是肾脏器官和肿瘤CT图像的肿瘤分割数据集。
- Chobola等人弥合了现有研究在语义图像分割中针对成员推断攻击的空白。
- Subbanna等人分析了U-Net和SegNet对3D脑MRI扫描的模型反演攻击的易感性。
- Lin等人提出了不可学习的医学图像生成（UMed）。他们的目标是将轮廓和纹理感知的扰动注入医学图像分割数据集，以防止未经授权的训练，有效地使用AI可用性攻击作为隐私防御手段。
3.4 心电图诊断
3.4.1 心电图诊断AI应用
心电图是体内电活动的记录和可视化。ML方法最常用于诊断心律失常，如使用心电图（ECG）或使用脑电图（EEG）诊断精神分裂症。Kiranyaz等人首次使用深度神经网络处理1D信号，特别是用于ECG分类任务。其他应用包括使用肌电图（EMG）进行神经肌肉疾病诊断和使用眼电图（EOG）进行睡眠阶段分类任务。
3.4.2 可能的威胁
先前的工作主要集中在ECG数据的对抗性攻击上。
- Chen等人向患者的ECG添加了不可感知的扰动，使得心律失常分类系统输出错误的诊断。
- Aminifar等人专注于癫痫发作检测应用，对EEG数据应用对抗性扰动，将癫痫发作样本错误分类为非癫痫发作。
- Ismail等人对SplitFed Learning（SFL）模型应用了有针对性和无针对性的数据投毒攻击，这是一种结合了分裂学习和联邦学习的方法。他们对心电图分类任务的攻击显示了对分类准确性的显著影响。
- Abudabba等人探索了分裂学习在ECG分类的1D CNN模型上是否保留了其隐私保护能力。他们得出结论，这种适应将导致高概率的隐私泄露，甚至重建原始时间序列/序列数据。
3.5 多组学诊断
3.5.1 多组学诊断AI应用
多组学诊断侧重于分析来自各种组学来源的数据，包括遗传学和代谢组学。ML可以应用于多组学数据分析的诊断设置中，以改善各种疾病的检测和分类。在考虑早期癌症检测时，多组学数据可以包括关于突变、基因表达和拷贝数变异的信息。Schulte-Sasse等人利用图卷积网络从多组学泛癌数据中识别新的癌症基因。同时，多组学方法也可用于更准确地分类慢性肾脏病，以促进最佳治疗方案。Eddy等人使用各种ML方法对由肾脏活检、血液和尿液样本组成的分子数据进行分类，将患者分类为更好地反映与慢性肾脏病相关的潜在机制信息的分子定义亚组。
3.5.2 可能的威胁
最近的工作探索了基因组学相关诊断流程对逃避攻击的脆弱性。
- Ghaffari等人还评估了在计算病理学中CNN模型的易感性，并证明了视觉变换器（ViTs）对输入扰动具有固有的更强鲁棒性。
- Sarkar等人重新利用后门攻击来检测基因组数据集中的偏见。他们的威胁模型涉及一个善意的云协作者，其目标是在不妨碍预测模型性能的情况下识别数据集中的偏见信息。
- Chen等人评估了差分隐私在酵母基因组数据处理背景下的有效性。
- Hagestedt等人和Backes等人进一步研究了DNA甲基化数据和后来的人类基因组数据的推断攻击。
3.6 电子健康记录（EHR）诊断
3.6.1 电子健康记录（EHR）诊断AI应用
电子健康记录（EHR）以数字格式存储患者医疗记录，包含各种数据模态，以便有效搜索和检索患者信息。传统的计算机辅助医疗专家系统通常通过使用特征级融合或基于规则的推理来协助诊断。系统性能可能受到领域专家主观确定的决策规则的显著影响，这些规则无法动态更新。特别是对于多源、非结构化的多模态医疗数据，传统方法在提供整合、推理和交互式决策支持方面的能力不足。
多模态AI框架采用基于深度神经网络的多网络链接或网络重建，通过特征耦合提取更高级的原始数据特征。这有助于在复杂的医院场景中实现智能辅助诊断决策。通常，实体挖掘用于实现不同医疗数据的语义感知和相关性挖掘，以支持多模态数据融合，包括多模态实体语义感知、实体语义对齐和实体关联挖掘。
3.6.2 可能的威胁
先前的工作已经表明，EHR诊断系统可能容易受到对抗性攻击。
- Sun等人攻击了以EHR为输入的LSTM模型，利用攻击识别患者EHR中易受攻击的领域。Joe等人成功地在决定患者是否应该被送入重症监护室（ICU）的ML模型中注入了后门。他们指出，后门触发器需要反映EHR的异质性和多模态性才能不可察觉。
- Zhang等人对合成EHR数据进行了成员推断攻击，这种数据被标榜为保护患者隐私和促进健康数据共享的有希望的解决方案。他们表明，部分合成的EHR仍然容易受到隐私泄露的影响，而完全合成的数据可能足以防御成员推断攻击。
4 临床决策支持系统面临的威胁和应对措施
临床决策支持系统 (CDSS) 是利用人工智能和机器学习技术，为医生提供临床决策建议的系统。这些系统可以帮助医生更快速、更准确地做出诊断和治疗决策，并提高患者护理质量。
4.1 临床摘要 & 问答
语言学习模型可以帮助管理生物医学文本数据，用于命名实体识别、句子相似度和关系提取任务，因为它能够快速吸收、总结和改写信息。这特别适合于创建出院摘要等例行任务，这些任务需要解释和缩短信息，但几乎不需要解决问题的技能。随着多模态模型的出现，它也扩展了对更广泛数据类型的适用性，例如准确解读医生的手写或基于癌症类型对病理报告进行分类。然而，由于临床文档文本通常很长、语法不规范、碎片化并且有拼写错误，因此需要严格的验证来保证病人安全。
4.1.1 可能的威胁
先前的工作考虑了临床环境中的编辑对手，其中现有的语义和句法对抗性攻击显示了基于文本的医疗AI的脆弱性，攻击者拥有黑盒和白盒知识。
- Das等人在乳腺癌临床领域进行了黑盒和白盒的干净标签攻击。还有针对医疗语言模型的机密性方面的攻击。
- Jagannatha等人和Miresghallah等人展示了预训练的医疗模型（如ClinicalBERT）可能容易受到成员推断攻击。
- Nakamura等人展示了从这些预训练模型中提取名称-疾病对的可行性，而Lehman等人能够从其中重建某些敏感的个人健康信息。
4.2. 自动化临床编码
临床编码是将医疗记录，通常以临床医生撰写的自由文本形式，转换为像ICD-10这样的分类系统中的结构化代码的任务。对人类来说，这是一个非平凡的任务，通常包括数据抽象或总结。更具体地说，一个专家临床编码员被期望解读关于病人护理周期的大量文件，并根据各种文件的上下文和定期更新的编码指南，从大型分类系统中选择最准确的代码。虽然有传统的基于规则的方法可用，但这些方法耗时且需要专家定义的规则和手工制作的文本特征。另一方面，基于机器学习的方法采用编码器-解码器框架，利用实体挖掘技术提取丰富的文本特征，以自动进行医疗代码分配。
4.2.1 可能的威胁
- Raja等人利用不可见的基于拼写的对抗性攻击来降低临床ICD代码预测系统的性能。这种直观的假设是，临床文档通常匆匆生成，可能比普通文档包含更多的拼写错误。
- Sarkar等人则探讨了针对ICD编码分类的成员推断攻击的可能性。他们展示了，仅仅对临床笔记进行去标识化以供训练可能不足以保证病人隐私，但有可能从原始数据生成合成笔记，同时保持分类器的性能。
5 治疗面临的威胁和应对措施
5.1 外科治疗
5.1.1 外科治疗AI主要应用
在治疗领域中，机器学习（ML）的应用涉及帮助临床医生治疗病人并改善治疗计划的整体体验和成功率。ML在手术中的应用分为术中指导和手术机器人两个方面。术中指导中的ML任务提供增强的可视化和定位功能。例如，稀疏主成分分析和核偏最小二乘回归有助于3D形状实例化，减少了从2D医学图像构建3D体积的耗时过程。此外，在肺部定位支气管镜引入了一个包含生成对抗网络的深度学习架构，即使在保守区域也能成功跟踪。
5.1.2 可能的威胁
目前还没有先前的工作攻击用于术中指导或手术机器人的ML算法。虽然有可能对这些应用进行攻击，但外科治疗ML可能不易被攻击者或研究人员访问。即使假设进行了黑盒攻击，攻击者也需要考虑对手术机器人实时输入的对抗性输入的实际可行性。与破坏系统的成本相比，利润也可能很小。
5.2 治疗结果预测
5.2.1 治疗结果医学AI应用
- 对于治疗和治疗计划提出了一种以元启发式为导向的公式和模拟退火算法。该策略生成适合病人和护理人员需求的最佳日常路线和调度解决方案。
- 对于心理治疗提出了一种因果k最近邻方法来帮助预测最佳治疗方案。他们模拟了他们的系统在患有非精神病性慢性主要抑郁症的患者上，以识别那些将从Nefazodone治疗、认知行为心理治疗或两种计划组合中受益的患者。
- 对于估计个体化治疗效果开发了迭代树的随机森林，并使用来自针灸头痛试验的数据模拟了该模型。
5.2.2 可能的威胁
- 一种基于BERT的对抗性示例生成方法，该方法使用领域特定的同义词替换来针对生物医学命名实体。
- 利用模型可解释性和查询访问权限，从药物审查数据集中生成对抗性示例。
- 针对机密性的攻击，对用于华法林剂量的药效学模型进行了模型反演攻击，假设攻击者对训练数据集和目标个体有部分了解。
6 人口健康
6.1 药物开发研究
6.1.1 药物开发研究AI应用
- 目标识别与药物发现。机器学习方法已被用于协助药物开发中的目标识别和药物发现。例如，为了建立基因-疾病因果关联并评估潜在的药物靶标，Mountjoy等人提出了一个开放的ML管道，用于执行细映射和基因优先级排序，涵盖了来自全基因组关联研究（GWAS）的133,441个不同位点。此外，ML越来越多地用于药物发现和筛选。Olivecrona等人开发了一种基于序列的生成模型，使用深度强化学习生成满足理想属性的药物分子结构。他们的方法在给定参数（如生物活性和药代动力学属性）的情况下几乎产生了最优值。
- 药物相互作用和并发症。药物相互作用（DDI）被描述为一种药物的效果因另一种药物的存在而改变。随着批准药物数量的迅速增长，多种药物的处方已成为常见的临床实践。然而，DDI的发生常常导致意想不到的副作用。从生物医学文本、EHR和公共数据库中获得的大量药物相关信息为基于文献的提取方法提供了肥沃的土壤，这些方法利用NLP技术执行DDI的关系提取任务，从文档中识别特定实体对之间的关系。同时，随着公开可用数据库的构建，基于化学和生物知识的预测模型在DDI预测方面具有巨大潜力。基于ML的预测方法通常将DDI预测视为链接预测任务，检测药物对之间是否存在相互作用。
6.1.2 可能的威胁
掠夺性研究已成为探索药物发现或从已发布文献中提取DDI信息的医疗AI问题。尽管Saini等人的工作没有涉及从被污染的数据中训练，但他们展示了掠夺性科学确实会影响最新DDI系统的性能。我们进一步推测，针对特定药物或医疗条件的数据投毒攻击很可能成为目标，这需要未来的工作。由于与药物相互作用相关的数据通常是公开的，很少涉及个人隐私信息，因此不太可能成为机密性攻击的目标。
6.2 流行病学
6.2.1 流行病学AI应用
除了用于个体病人护理，医疗AI还在人口范围内的健康管理中找到了应用，特别是在流行病学和传染病监测领域。
- 用于大流行早期预警的AI可以筛选、过滤、分类和编译网络文本，以指示传染病发生的迹象，准确度和速度都非常出色。一个早期预警应用的示例是HealthMap，它采用NLP方法扫描网络发布的文本，实时指示传染病事件，然后将文本与公认的病原体和地理区域的词汇表进行比较。
- Bhatia等人寻求利用ProMED和HealthMap收集的数据进行实时疫情分析，使用多功能统计模型来衡量疫情传播风险的空间变异性，并预测短期发病模式。这些应用还可以集成到医疗物联网设备中，例如使用智能手表实时识别与感染早期发作相关的不寻常生理信号。在识别出疫情后，随后的行动涉及接触者追踪和切断传播途径。
- Sundermann等人利用病人的EHR提取与疫情相关的数据，将全基因组监测测序与ML合并，并通过对细菌分离物的分子特征化来检测医院内的传播途径。
6.2.2 可能的威胁
Meiseles等人对一个开源的SARS-CoV-2谱系分配模型进行了对抗性逃避攻击。攻击扰动了COVID-19基因组FASTA文件中的基因组序列，导致错误的谱系分配，妨碍了公共卫生管理。这是对流行病学ML的唯一对抗性攻击。
7 医疗AI尚未被充分研究的攻击
7.1 成员推断攻击 (Membership Inference Attacks, MIAs)
- 目标： 攻击者试图推断某个个体是否属于模型训练数据中的某个子集。
- 威胁： 如果攻击者能够推断出患者的个人健康信息，例如是否患有特定疾病，则可能泄露患者隐私。
未充分研究的领域：
- 数据类型： 除了基因组数据，其他类型的医疗数据，例如 EHR 和多组学数据，也需要深入研究 MIAs 的可行性。
- 模型类型： 需要研究不同类型的模型，例如深度学习模型、强化学习模型和图神经网络模型，对 MIAs 的易受攻击性。
7.2 目标后门攻击
- 目标： 攻击者试图在模型中植入后门，以便在特定条件下操纵模型输出。
- 威胁： 攻击者可以操纵模型输出，例如在特定条件下提供错误的诊断结果或治疗建议，从而对患者的健康造成危害。
未充分研究的领域：
- 数据类型： 需要研究不同类型的医疗数据，例如基因组数据、医学图像和 EHR，对后门攻击的易受攻击性。
- 模型类型： 需要研究不同类型的模型，例如深度学习模型、强化学习模型和图神经网络模型，对后门攻击的易受攻击性。
7.3 未定向投毒攻击
- 目标： 攻击者试图向模型训练数据中注入中毒样本，以降低模型的性能。
- 威胁： 降低模型的性能可能导致错误的诊断结果或治疗建议，从而对患者的健康造成危害。
未充分研究的领域：
- 数据类型： 需要研究不同类型的医疗数据，例如基因组数据、医学图像和 EHR，对未定向投毒攻击的易受攻击性。
- 模型类型： 需要研究不同类型的模型，例如深度学习模型、强化学习模型和图神经网络模型，对未定向投毒攻击的易受攻击性。
7.4 公平性攻击
- 目标： 攻击者试图在模型中引入偏见，例如基于种族、性别等因素进行歧视。
- 威胁： 公平性问题可能导致模型对某些群体做出不公平的决策，例如拒绝某些患者的治疗或建议。
未充分研究的领域：
- 数据类型： 需要研究不同类型的医疗数据，例如基因组数据、医学图像和 EHR，对公平性攻击的易受攻击性。
- 模型类型： 需要研究不同类型的模型，例如深度学习模型、强化学习模型和图神经网络模型，对公平性攻击的易受攻击性。
- 评估指标： 需要开发更有效的评估指标来衡量模型的公平性。
7.5 可解释性攻击
- 目标： 攻击者试图改变模型的解释，使其失去可信度。
- 威胁： 改变模型解释可能导致医生对模型输出产生怀疑，从而影响治疗决策。
未充分研究的领域：
- 攻击方法：需要研究更有效的攻击方法来改变模型的解释，例如基于深度学习的攻击方法。
- 防御策略：需要研究更有效的防御策略来保护模型的解释，例如基于模型对抗训练的防御策略。