【Generative AI综述】生成式人工智能在医学影像中的应用(ACME-2026)

  📚文献精读|生成式 AI 在医学影像中的综述:算法、模态、机遇与临床痛点


论文:Generative AI for Medical Imaging: A Systematic Review of Models, Applications, and Clinical Challenges


综述系列篇:

  【SAM综述】医学图像分割的分割一切模型:当前应用和未来方向

  【CLIP综述】CLIP在医学影像中的应用(一)

  【CLIP综述】CLIP在医学影像中的应用(二)

  【Diffusion综述】医学图像分析中的扩散模型(一)

  【Diffusion综述】医学图像分析中的扩散模型(二)

  【Diffusion综述】扩散模型在 MRI 影像中的应用

  【World Models综述】理解世界还是预测未来?(ACM CS-2025)


0、摘要

  生成式人工智能(AI)已成为医学影像领域具有变革性的研究范式,可在各类放射成像模态下实现图像合成、重建与增强 等高级功能。本文针对生成式 AI 的最新进展,按成像模态 开展结构化梳理分析,重点覆盖 X 射线、计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层显像(PET)与超声成像方向。研究评估了生成对抗网络(GAN)、变分自编码器(VAE)、扩散模型以及基于 Transformer 的架构等主流模型,面向超分辨率、模态转换、伪影去除、数据增强 等任务展开讨论。(按医学影像模态和生成任务开展)

  本文在 IEEE Xplore、PubMed、Scopus、ScienceDirect 数据库中开展系统性文献调研,检索 2021-2025 年发表的相关研究。通过关键词检索初步得到约 135 篇文献,经筛选后保留 105 篇,再依据预设纳入标准,选取 32 篇文献开展深度分析。(包含工程与医学的大制作啊)

  **研究结果表明,生成式 AI 能够显著提升图像质量与诊断效能,同时可缓解数据稀缺、降低辐射剂量等难题。但数据集偏移、模型幻觉风险、缺乏多中心验证等局限性,制约了该技术的临床落地。**未来研究应聚焦标准化评估方案、大规模多机构验证、联邦学习以及物理先验模型,以此提升模型的鲁棒性与临床可靠性。


1、引言

  医学影像是现代医疗的核心支撑技术,助力疾病早期识别、精准诊断、治疗方案制定以及患者的长期随访监测。X 射线、CT、MRI、PET 与超声等放射成像模态可生成海量高维数据,这类数据需要精准判读(影像助力诊断与治疗)。然而,临床影像工作流程常受诸多因素制约:标注数据集稀缺、图像噪声、空间分辨率不足、设备间成像差异,以及放射科医师日益增长的工作负荷。上述难题推动学界采用人工智能方法提升图像质量、辅助临床决策。

  近年来,深度学习推动医学影像分析领域取得长足发展,CNN 已成为图像分类、分割与目标检测的主流方法。区别于判别式学习,生成式人工智能因其能够拟合复杂数据分布、合成真实医学图像的能力,受到越来越多关注 (大模型火了之后,判别式就火起来了)。生成模型不仅可对已有数据进行解读,还能够生成保留解剖与病理特征的全新数据样本,以此缓解数据稀缺、类别失衡、辐射暴露等关键痛点。

  在各类生成式方法中,GAN 及其变体在放射影像应用中取得了突出成果,可用于图像超分辨率、模态转换(例如 MRI 转 CT、低剂量 PET 转全剂量 PET)、伪影去除以及合成数据增强。与之类似,扩散模型、VAE、自回归模型,以及近年兴起的基于 Transformer 的架构,均推动了图像重建与表征学习的发展。上述模型有望提升诊断准确率、缩短扫描时长、降低患者的电离辐射暴露水平,契合核心临床目标。

  尽管相关研究发展迅速,但生成式 AI 从实验室研究走向常规临床应用的转化进程仍然受限。多数已发表研究仅采用单中心数据集,缺少外部验证 ,且大多依靠像素级相似度指标开展性能评估,这类指标未必能够直接反映临床实用价值。此外,模型可解释性、数据偏倚、解剖结构幻觉、患者隐私以及监管审批 等问题,为该技术的实际落地带来巨大阻碍。想要解决上述问题,需要系统梳理现有方法,明晰其优势、局限以及尚未填补的研究空白。(这些都是由来已久的问题了)

  与传统综述不同,**本文针对放射影像领域的生成式 AI 技术,按成像模态开展结构化对比分析,重点关注其临床价值与性能变化趋势,汇总多种放射成像模态与应用场景下的最新研究进展。**本综述的主要贡献如下:

  • 对主流放射成像模态下生成式 AI 的应用建立完整分类体系;
  • 基于通用定量指标与诊断性能指标(PSNR、SSIM、Dice)对各类生成模型开展对比分析;
  • 对临床层面、技术层面与监管层面的挑战展开批判性讨论;
  • 识别关键研究空白,包括多中心验证不足、模型鲁棒性欠缺等问题;
  • 探讨可解释人工智能、多模态学习、联邦学习等新兴研究方向。

  本文梳理现有研究成果并指明未来研究重点,可为研究人员、临床医师及医疗相关从业者提供参考,推动生成式 AI 在放射影像领域安全、有效地落地应用。(现在比较看重成果转化)

问题陈述与研究动机

  尽管医疗数字化进程迅速,放射影像工作流程仍面临多项关键难题:高质量标注数据集稀缺,不同机构的成像方案差异显著 ;同时放射科医师长期承受繁重工作负荷,存在诊断判读差异,且需要快速完成临床决策。传统 AI 系统高度依赖监督学习与大规模标注数据集,难以解决数据失衡、图像噪声、成像质量不稳定等问题。上述局限阻碍了鲁棒性强、泛化性能好、临床可靠的影像解决方案的研发。

  生成式 AI 带来了突破性机遇:依托生成对抗网络、扩散模型、变分自编码器以及先进的 Transformer 架构,可实现合成数据生成、图像增强、模态转换与图像重建。这类模型能够学习医学影像的底层结构,生成高保真合成数据,降低对人工标注数据集的依赖,因此在解决放射影像领域长期存在的各类痛点上具备独特优势。

  **但现有研究较为零散:多数研究仅针对单一成像模态下的特定子任务,且采用的评价指标各不相同,难以横向对比模型性能,也无法全面把握生成式 AI 在放射学领域的整体价值。**目前尚缺少整合性文献,系统梳理生成式人工智能在 X 射线、CT、MRI、PET、超声中的各类应用,同时统一讨论评价指标、方法局限与临床价值。

  针对上述研究空白,本文对放射影像领域的生成式 AI 开展全面、按成像模态分类的综述。本文采用按模态划分的行文框架,是为了适配不同成像方式本身固有的差异,包括空间分辨率、噪声特性、采集方案以及临床应用场景的区别。 这些因素会显著影响生成式 AI 模型的设计、训练策略与评价方式。因此,按照成像模态归类相关研究,能够开展更有价值、贴合临床需求的对比分析,同时凸显各模态独有的难点、性能变化规律与研究缺口。该框架与汇总多模态数据集、模型及评价指标对比的 表 1 保持一致。本文梳理近年研究进展,横向对比不同研究的模型性能,归纳现存挑战,并指明未来研究方向。

  

**Table 1 | 为纳入研究按成像模态汇总的概要,涵盖数据集、生成模型、任务与评价指标:**本表面向全部成像模态(X 射线、CT、MRI、PET、超声),展示数据集特征与模型性能如何随模态专属因素发生变化;相关研究均基于单中心数据集开展内部验证,且未开展临床层面评估。


2、放射影像领域生成式人工智能概述

2.1、生成式人工智能的发展历程

  生成式人工智能的发展依托统计建模、深度学习与算力的进步。上世纪 90 年代至 21 世纪初的早期生成方法依赖隐马尔可夫模型、高斯混合模型等概率模型。这类方法在低维数据上效果尚可,但难以刻画高维医学图像的复杂特征。

  2010 年代初期,在大数据集与 GPU 加速的支撑下,深度学习再度兴起,带来一次重要转变。基于自编码器的模型,尤其是变分自编码器(VAE),引入隐空间表征以学习复杂数据分布,被应用于医学影像重建、异常检测等任务。

  2014 年生成对抗网络(GAN)的提出是一项重要突破,借助对抗训练可以生成高分辨率、真实感强的图像。CycleGAN、SRGAN 等 GAN 衍生模型在放射学中得到广泛使用,用于模态转换、超分辨率重建、数据增强等任务。

  近年来,扩散模型与基于 Transformer 的架构进一步提升了生成建模能力。扩散模型拥有更稳定的训练过程,可实现高保真图像合成;基于 Transformer 的模型支持多模态学习,能够将影像与文本数据融合,支撑报告生成、跨模态分析等应用。

  当前研究更加注重临床实用性,重点关注模型鲁棒性、可解释性以及在不同数据集上的泛化能力。这一发展脉络体现出**研究重心从理论建模逐步转向具备临床价值的应用,例如放射检查降剂量、工作流自动化、临床决策支持。**表 2 汇总了各类生成式 AI 模型的发展历程,梳理核心创新点及其在放射影像中的应用价值;图 1 展示了生成式人工智能逐年发展的时间线。

  

**Table 2 | 生成式人工智能模型的演进:**重点阐述关键创新及其与放射影像应用的相关性

  

Figure 1 | 生成式人工智能的多年发展:

2.2、生成式人工智能模型

  **生成对抗网络(GAN):**GAN 由两个神经网络构成。生成器: 将随机噪声输入转化为合成数据。它由一系列卷积层或全连接层堆叠而成,通常采用 ReLU(修正线性单元)或 Sigmoid 作为激活函数。

判别器: 同时接收真实数据与生成的伪数据,预测每个样本为真实数据的概率,训练目标是区分真实样本与合成样本。GAN 模型结构如 图 2 所示。

  在放射影像领域,GAN 已成功应用于多种影像任务,包括 MRI 与 X 射线图像的超分辨率增强、低剂量向全剂量 CT 及 PET 图像合成、伪影去除、跨模态转换(例如 MRI 转 CT、T1 加权 MRI 转 T2 加权 MRI)。条件 GAN 变体 可引入模态标签、解剖约束或临床参数,实现可控图像生成,尤其适配医学场景。CycleGAN 架构进一步支持无配对图像转换,在临床中难以获取配对数据集时具备明显优势。

  尽管效果突出,**基于 GAN 的模型在医学影像中仍存在显著难点:训练不稳定、模式崩塌,以及生成幻觉解剖结构,会对诊断可靠性带来风险。**此外,GAN 生成结果视觉上逼真,但可能存在临床层面的错误特征,因此必须开展严格验证,并纳入医师参与评估。即便如此,在施加合理约束并完成充分评估的前提下,GAN 仍是提升图像质量、解决放射诊疗流程中数据稀缺问题的有力工具。

  

Figure 2 | 生成式对抗网络模型:

  **变分自编码器(VAE):**VAE 属于隐变量生成模型 ,采用编码器 - 解码器框架实现数据生成。它通过分布采样引入随机性,将输入数据映射至连续隐空间。VAE 的训练目标包含两项:重构损失,以及用于约束隐空间规整性的正则项 。通过在学习得到的隐空间中采样并送入解码器,VAE 可以生成新样本。图 3 展示了 VAE 的通用结构。

  在医学影像领域,VAE 常用于图像重建、分类、诊断、异常检测与表征学习等任务。VAE 能够对正常解剖的变异范围建模,因此适合通过检出重构误差较高的区域,识别病灶或结构异常等病理偏离;同时也被用于放射数据集的降维与无监督特征提取。

  **但与 GAN 类方法相比,VAE 生成图像往往清晰度更低、结构细节更少。该局限主要源于其优化目标:优先学习全局分布,而对高频纹理的保留能力不足。**因此,VAE 较少用于诊断图像合成这类对视觉保真度要求很高的任务。已有研究将 VAE 与对抗训练结合构建混合模型,兼顾图像真实感与不确定性建模,是具备潜力的后续研究方向。

  

Figure 3 | 变分自编码器模型:

  **扩散模型:**扩散模型是近年兴起的高性能生成框架,通过逆向逐步前向噪声扩散过程实现稳定训练与高质量图像合成。与 GAN 不同,扩散模型不依赖对抗训练,显著提升训练稳定性,缓解模式崩塌问题。 (我承认,我更爱扩散模型)

  在医学影像场景中,扩散模型在高分辨率图像生成、无伪影合成以及提升结构一致性方面展现出巨大潜力。其迭代去噪框架可对图像生成过程进行精准调控,适用于多种医学影像任务,包括 MRI 重建、CT 图像增强以及低剂量成像场景下的降噪。扩散模型在跨数据集上的泛化性能也更优,这对于多中心临床部署至关重要。

  尽管具备上述优势,**相较于 GAN,扩散模型计算开销更大、推理耗时更长,难以满足临床实时应用需求。**当前研究重点在于加速采样流程、引入领域专属约束,推动扩散模型更好地适配放射科常规临床工作。图 4 为扩散模型的结构示意图。

  

Figure 4 | 隐空间扩散模型:

2.3、放射辅助大语言模型

  大语言模型(LLM),包含生成式预训练 Transformer(GPT)架构,属于一类互补的生成式 AI 系统,主要处理文本与多模态信息,而非直接合成医学图像。在放射学领域,大语言模型正被逐步探索作为辅助工具,与图像深度学习模型结合后,能够提升影像判读、报告书写的效率,优化临床工作流。

  基于 GPT 的系统在放射领域最主要的应用之一是自动化、半自动化报告生成。它可以利用计算机视觉模型输出的结构化结果,例如病灶定位、分割图或分类概率,生成语句连贯、符合临床术语与报告规范的标准化放射报告。该能力有望降低报告书写的差异性,提升文档一致性,减轻放射医师的文书负担,尤其适用于高负荷临床场景。

  **尽管前景广阔,基于 GPT 的模型在放射应用中仍存在关键难题:存在生成看似合理但临床内容错误的风险,推理过程可解释性不足,必须经过严格验证以保障患者安全。**因此,部署大语言模型时需要配套安全机制,包括人在回路监督、领域微调,并符合监管与伦理规范。

  从临床角度来看,GPT 类模型应当视作放射一体化流程中的辅助模块,不能替代图像生成或诊断系统。 它的有效应用依赖于和卷积神经网络、GAN、扩散模型等影像模型的无缝集成,构建融合图像合成、定量分析与具备临床价值解读的端到端框架。

  表 3 汇总了医学影像中各类 AI 模型的功能定位及其预期输出。

  

Table 3 | AI 模型类型在医学影像中的功能作用:

2.4、放射领域的视觉语言模型

  视觉语言模型(VLM),包括基于 CLIP 的架构与多模态 Transformer 架构 ,通过同时学习医学图像与文本报告,拓展了生成式 AI 的能力边界。在放射学中,视觉语言模型可实现图像 - 报告对齐、跨模态检索、自动图像描述以及临床决策支持等任务。与独立的卷积神经网络或生成对抗网络不同,视觉语言模型将图像特征与临床语义描述建立关联,从而具备上下文理解能力。

  现有研究表明,视觉语言模型能够提升医学影像流程中的零样本学习性能、降低对标注数据的依赖,并增强模型可解释性。此外,MedCLIP 等大规模多模态模型也印证了跨模态学习在放射学场景中的应用潜力。但该方向仍存在诸多待解决问题,包括领域自适应、医学专属预训练数据不足以及模型可靠性等。

2.5、放射学领域的生成式人工智能

  生成式 AI 在医疗行业发展迅速,技术持续迭代,不断涌现新方案以拓展应用场景。21 世纪初,医学影像领域对人工智能的需求大幅提升。研究人员将模式识别、图像分割、深度学习等计算机视觉技术应用于医学影像分析,辅助疾病诊断。 在机器学习技术革新的推动下,X 线、CT、MRI 等放射影像数据,在复杂病灶模式的检测与分类中发挥重要作用。图 5 展示了各类放射成像技术。

  生成式 AI 模型可通过合成真实感样本实现数据增广,提升模型鲁棒性。图 6 为一个通用的生成式 AI 放射学工作流,整合了文献报道中的主流技术方案。

  

Figure 5 | 医学影像类型:

  

Figure 6 | 基于生成式 AI 的放射学流程:

2.6、生成式人工智能在放射学中的应用

  • 图像合成:GAN 等生成模型可生成具备临床合理性的合成医学图像,用于补充和扩充现有数据集,在标注数据稀缺场景下对 AI 模型训练尤为重要。
  • 模态转换:为缩短扫描时长、降低患者辐射暴露,生成式 AI 可实现不同影像模态之间的转换,例如 MRI 转 CT、CT 转 MRI,无需额外扫描即可获得多维度综合影像信息。
  • 图像增强与复原:生成式 AI 用于提升放射影像质量,例如提高分辨率、去除伪影。
  • 异常检测:生成模型通过学习正常数据分布,识别分布外样本,以此实现异常病灶检出。
  • 预测分析:生成模型能够模拟疾病进展过程,帮助理解病情随时间的演变规律,可用于制定治疗方案、预判临床结局。
  • 三维模型生成:在放射治疗中,生成式 AI 可构建精细的患者解剖三维模型,辅助精准治疗计划制定与实施。
  • 基于仿真的教学:生成式 AI 生成高保真仿真病例,用于放射科医师培训;仿真场景可复现各类临床情形,提供安全可控的学习环境,助力技能提升。
  • 辅助诊断:生成式 AI 可为放射科医师提供额外诊断参考,例如预判可能诊断、标注影像中的可疑区域,支撑临床决策。
  • 多模态影像融合:生成式 AI 经训练后可融合 PET、MRI、CT 等多种模态影像信息,形成一体化综合诊断视图,提升诊断的准确性与效率。

3、相关研究

3.1、基于 X 线的生成式人工智能研究

  生成式 AI 的最新进展深刻推动了医学影像研究,尤其在放射学领域,这类模型越来越多地用于图像合成、图像增强、图像重建以及诊断辅助 。现有研究大多聚焦于特定影像模态的应用与面向任务的方案实现,但对于不同方法之间的对比效能与临床适用范围,尚缺乏全面、统一的认识。该领域大量文献以 GAN 为主流方法,GAN 在多种影像模态上均表现出优异性能。在 X 线影像方向,基于 GAN 的数据增广与分割框架已得到广泛应用,用于在训练数据有限的条件下提升诊断准确率。(生成数据,再做判别任务)

  例如,GAN-CNN 混合模型在肺部疾病检测任务中分类性能得到提升,结合先进特征提取方法后,准确率可超过 84%,部分场景下可达 99% 以上。与之类似,超分辨率 GAN 框架能够有效提升图像质量,可获得较高的结构相似性(SSIM>0.94)与峰值信噪比(PSNR>36 dB)。尽管上述结果具备良好前景,但绝大多数 X 线相关研究仅采用内部验证、数据集规模偏小,限制了模型在真实临床场景中的泛化能力 。(不应该呀,X 光的数据量一般还是挺大的感觉)

3.2、基于 CT 的生成式人工智能研究

  **在 CT 成像中,受辐射剂量限制与采集条件差异影响,生成模型主要用于降噪、低剂量重建、影像组学特征归一化以及跨模态合成。**基于 GAN 的模型与混合架构在抑制噪声伪影的同时,能够更好地保留解剖结构,性能持续优于传统降噪算法。例如,增强层级特征合成(EHFS)网络可显著提升影像组学特征的可重复性与图像质量指标(SSIM:0.83 提升至 0.94;PSNR:29.9 提升至 36.46)。此外,GAN 生成的合成数据集可用于提升多种深度学习骨干网络的分类效果。但这类研究大多在标准化采集条件下开展,模型在不同设备、不同医疗机构间的鲁棒性尚未得到充分验证。

3.3、基于 MRI 的生成式人工智能研究

  MRI 对噪声、分辨率波动以及采集条件限制较为敏感,现已成为生成式 AI 应用的重要领域。(为我 MRI 举大旗)。MRI 相关研究多面向高分辨率软组织成像,生成模型广泛用于图像重建、超分辨率以及模态转换任务。基于 GAN 的网络结构,尤其是 CycleGAN 及其衍生模型,常被用于模态转换与超分辨率任务,通常可取得 0.85 以上的 SSIM 与 0.90 以上的 Dice 系数。这类模型在图像合成过程中能够较好地保留精细解剖结构。然而,绝大多数 MRI 研究依赖单中心数据集,缺少外部验证。 此外,现有研究虽然常报告较高的图像相似度指标,但指标优异并不等同于临床可解释性提升,图像中细微的伪生成特征(幻觉)仍有可能无法被检出。

3.4、基于 PET 的生成式人工智能研究

  在 PET 中,生成式 AI 方法主要用于降剂量与噪声抑制,通过低剂量采集图像合成满剂量图像。条件 GAN 与 Wasserstein GAN 的衍生模型可稳定提升图像质量指标,在最优条件下 SSIM 接近 0.95,PSNR 高于 34 dB。这类方法在降低辐射暴露、缩短扫描时长 方面具备较大潜力。但 PET 相关研究常受限于样本量偏小,且缺少对病灶检出能力、标准化摄取值(SUV)定量精度等临床关键指标的全面评估,而上述指标对诊断可靠性至关重要。

3.5、基于超声的生成式人工智能研究

  与其他影像模态相比,超声成像在生成式 AI 领域受到的关注相对有限 。现有研究大多依托传统机器学习与深度学习方法开展分类与辅助诊断,在肿瘤检测任务中可达到较高准确率(最高 98%)。但超声成像本身存在成像差异大、高度依赖操作者的特点,给生成建模带来显著挑战,合成数据增广在该方向的研究仍较为匮乏。 (是不是可以考虑发展发展,不过超声本身便宜无辐射)

3.6、非 GAN 类模型

  除 GAN 类方法外,近期研究越来越多地转向扩散模型与基于 Transformer 的架构 ,这类模型能够缓解对抗训练存在的若干缺陷。其中扩散模型训练稳定性更好、图像生成保真度高,在多种影像模态上 SSIM 可达 0.90-0.96。(我爱扩散不解释)与之类似,基于 Transformer 的模型具备更强的上下文理解与多模态融合能力 ,可支撑自动报告生成、跨模态图像合成等应用。尽管具备上述优势,但这类模型计算开销巨大,且尚未在多样化临床数据集上得到充分验证。

  所有影像模态与模型类型均存在若干共性局限:

  • 第一,多数研究仅采用 PSNR、SSIM、Dice 系数等像素层面评价指标,这类指标不一定能反映模型的临床价值与诊断准确率;
  • 第二,基于多中心数据集的外部验证开展较少,模型泛化能力与鲁棒性存疑;
  • 第三,临床验证普遍不足甚至缺失,很少有研究纳入放射科医师参与的闭环评估或前瞻性试验。

  尽管生成式 AI 在医学影像领域发展迅速,但现有文献在影像模态、模型架构、评价方案方面较为零散。已有研究大多面向特定任务或单一影像模态,缺少从统一视角对跨模态性能规律、验证方案与临床适用性进行梳理。

  因此,本文综述针对上述不足,按影像模态与模型类型对放射学中的生成式 AI 方法开展结构化对比分析。与以往研究不同,**本文整合定量性能指标、验证策略与临床考量,系统阐释生成式 AI 的发展现状及其落地应用的成熟度。**模型性能在不同影像模态间差异明显:GAN 在 X 线与 CT 任务中仍占主流,而扩散模型与 Transformer 模型在 MRI 领域的应用持续增多 。(好别致的趋势)已有研究进一步证实,影像模态自身特性会影响模型设计与评价方案。

3.7、共性趋势与研究缺口

  在所有影像模态中,生成式 AI 模型在提升图像质量、优化重建效果以及构建数据增广方案方面均展现出巨大潜力。但现有文献也呈现出若干共性问题:

  • 第一,多数研究高度依赖 PSNR、SSIM 这类像素级相似度指标,该类指标难以充分反映临床价值;
  • 第二,大部分模型在规模较小的单中心数据集上完成训练与测试,外部验证或多中心验证开展不足;
  • 第三,临床评估较为匮乏,大多仅做定性评价甚至完全缺少临床评估,进而限制了模型在真实场景中的落地。

  上述现象表明,尽管生成式 AI 技术已取得长足进展,但其临床转化仍受泛化性、验证体系以及标准化评价框架缺失等问题制约。 只有攻克这些短板,才能保障生成式 AI 安全、有效地融入常规放射诊疗流程。

  不同影像模态下生成式 AI 应用的详细对比分析如 表 1 所示。


4、研究方法

4.1、文献检索策略

  本文采用结构化综述方法 ,保证研究过程的透明性与可复现性。在 IEEE Xplore、PubMed、Scopus、ScienceDirect 等主流学术数据库开展全面检索,检索文献发表时间范围为 2021--2025 年。(第一次看综述写研究方法的,神奇)

  检索关键词组合包括:"生成式 AI"、"生成对抗网络(GAN)"、"扩散模型"、"医学影像"、"放射学"、"磁共振成像(MRI)"、"计算机断层扫描(CT)"、"X 射线" 以及 "超声"。

4.2、文献筛选流程(PRISMA 框架)

  文献筛选流程遵循 PRISMA(系统评价与荟萃分析优先报告条目)规范,以实现系统化、无偏的文献筛选。

  数据库检索初获文献 135 篇;剔除重复文献 30 篇后,对 105 篇文献开展标题与摘要初筛;其中 60 篇因主题不相关被剔除;剩余 45 篇进行全文资格评估,依据预设标准剔除 15 篇;最终纳入 32 篇文献开展详细分析。图 7 为展示文献筛选流程的 PRISMA 流程图。

  

Figure 7 | 文献筛选 PRISMA 流程图:

4.3、纳入标准

  满足以下条件的文献予以纳入:

  • 发表时间为 2021---2025 年
  • 研究对象为生成式 AI 模型(GAN、VAE、扩散模型、Transformer)
  • 应用于医学影像 / 放射学领域
  • 报道定量评价指标(如 PSNR、SSIM、Dice 系数、准确率)
  • 同行评审期刊论文或会议论文

4.4、排除标准

  符合下述任意一条的文献予以排除:

  • 与医学影像无关
  • 仅针对判别模型(不含生成模块的 CNN)开展研究
  • 缺少实验验证
  • 属于综述、编者按或非同行评审文献
  • 方法学细节不足

4.5、质量评价

  为保障可靠性,对纳入文献从以下维度开展评估:

  • 数据集规模与多样性
  • 验证策略(内部验证与外部验证)
  • 临床相关性
  • 所采用的评价指标
  • 可复现性与方法学清晰度

4.6、实验评价框架

  本研究基于文献中常用的评价指标开展分析,包括峰值信噪比(PSNR)、结构相似性指数(SSIM)、Dice 相似系数(DSC)以及分类准确率。跨影像模态(X 射线、CT、MRI、PET、超声)与模型类型(GAN、VAE、扩散模型、基于 Transformer 的架构)开展对比分析。

  此外,研究还结合数据集特征、验证策略(内部验证 / 外部验证)以及临床相关性,评估各类方法的鲁棒性与适用性。对每篇文献进行定性评估,并依据其鲁棒性与临床适用性完成归类。

  本次最终纳入的 32 篇文献均为高质量的近期研究成果,覆盖了多样化的影像模态、模型架构与临床应用场景,能够均衡且有代表性地反映生成式 AI 在放射学领域的研究现状。


5、对比分析与讨论

  对生成式 AI 在 X 射线、CT、MRI、PET 及超声中的应用开展对比分析后发现,不同模型在性能、架构适配性以及临床可用性上存在明显差异。**基于 GAN 的架构因生成能力突出而得到广泛应用;VAE、基于 Transformer 的模型以及扩散模型等其他方法,则越来越多地用于对稳定性、表征学习与结构保真度要求更高的特定任务。**其中,CycleGAN、StyleGAN 以及基于扩散的模型在跨模态转换、精细解剖结构信息保留任务中表现更优。

5.1、分模态模型性能

  多项研究报道,X 射线影像任务可取得较高的性能指标 ,准确率超过 95%,SSIM 高于 0.90。但上述结果大多基于内部验证,缺少外部临床评估,因此难以判定模型在真实场景下的泛化能力。此外,基于 VAE 的方法已被用于分类任务;由于其隐空间表征更加平滑,该类方法性能稳定,但整体表现中等。

  在 CT 影像领域,尤其在肿瘤学与放射组学方向,增强层级特征合成(EHFS)网络、基于 Transformer 的模型以及混合 GAN 框架等更先进架构表现更优。这类模型能够有效捕捉细粒度结构与放射组学细节;因此,融合多尺度特征提取、纹理保留与放射组学特征一致性约束的模型,性能优于传统 GAN。生成建模相关研究也呈现类似规律:架构改进会显著提升生成图像的保真度。例如,EHFS 可将可复现的放射组学特征数量从 241 提升至 565,远优于标准 GAN 的输出结果。

  MRI 影像易受噪声、对比度变化与解剖畸变影响,CycleGAN 与扩散模型可通过约束结构一致性,为 MRI 任务带来显著增益。该类方法借助循环一致性约束与迭代去噪,提升解剖结构保真度。VAE 也通过学习具有诊断意义的隐表征,应用于前列腺癌检测等 MRI 诊断任务。尽管扩散模型应用日益广泛且性能优异,但高昂的计算开销仍是其主要限制因素。

  PET 影像本身分辨率低、噪声高,需要能够恢复精细功能信息的生成模型。条件 GAN、权重自适应 WGAN-GP 等模型在此类任务中表现突出:这类模型融合解剖先验(如 CT 引导)、注意力机制与多尺度判别器,SSIM 可达到 0.94--0.96,说明基于 PET/CT 的混合生成模型性能优于独立 GAN。

  超声图像存在斑点噪声,且成像结果受操作者影响较大;相较于纯生成方法,传统机器学习与混合深度学习模型效果更好。研究表明,随机森林、DenseNet 等模型在诊断任务上优于基于 GAN 的方法。生成式数据增强虽可以扩充数据集,但增益效果弱于 CT 与 MRI 模态。

  图 8 展示了生成式 AI 任务在各影像模态中的分布情况:

  • X 射线相关研究以诊断为主,同时也涉及图像增强、分割与合成;
  • CT 研究重点集中在图像增强与图像合成;
  • MRI 的合成与增强任务分布相对均衡;
  • PET 相关研究数量偏少,方向以图像增强和重建为主;
  • 超声研究绝大多数面向诊断应用。

  

Figure 8 | 生成式 AI 任务在各类医学影像模态中的分布:

5.2、定量对比

  对纳入综述的生成模型开展对比评估后发现:基于 GAN 的方法能够稳定取得较高的 SSIM(>0.90),并且 PSNR 提升显著,在超分辨率与去噪任务中尤为突出。扩散模型依托迭代优化流程,性能与 GAN 相当甚至更优,同时稳定性更强、伪影更少。

  与之相比,VAE 受概率化建模方式以及对隐空间正则化的侧重影响,输出图像通常更为平滑,结构保真度略低 ,SSIM 一般在 0.85--0.90 区间。(VAE 更模糊)

  但多数研究仅采用内部验证指标,且缺少标准化基准数据集,难以在不同模型、不同模态之间开展直接对比。表 4 汇总了各类生成式 AI 模型在放射影像任务中的性能与特点。

  

Table 4 | 生成式 AI 模型在放射学应用中的性能与特性比较:

5.3、分模型分析

  从架构层面来看,

  • GAN 擅长生成高分辨率、视觉真实感强的图像,但容易出现训练不稳定、模式崩溃以及幻觉伪影问题。
  • 扩散模型依靠迭代去噪流程提升训练稳定性、减少伪影,缺点是对算力资源需求高、推理耗时更长。
  • 基于 Transformer 的架构支持多模态学习与上下文理解,适合分割以及跨模态医学影像任务。
  • VAE 在高保真图像生成上效果偏弱,但训练稳定、能够学到有价值的隐表征,适用于分类、异常检测与图像重建任务。

  **总体而言,不存在普适最优的模型;模型性能取决于影像模态、数据特征与临床任务。**图 9 展示不同任务下各模型的性能:该分组柱状图对比 CNN、GAN、Transformer 以及扩散模型在诊断、分割、增强、重建任务上的表现。为了在不同评价指标之间公平对比,所有性能数值均做归一化处理。结果表明,CNN 在诊断任务中性能更优,Transformer 模型在分割任务上表现突出;GAN 与扩散模型在图像增强和重建任务中性能优异,其中扩散模型生成结果的保真度最高。

  

**Figure 9 | 不同任务类型下的模型性能:**该分组柱状图对比展示 CNN、GAN、Transformer 以及基于扩散的模型在诊断、分割、增强与重建任务上的性能表现。

5.4、临床解读

  从临床角度而言,PSNR 与 SSIM 指标的提升并不一定能够转化为更优的诊断结果。因此,必须纳入放射科医师的主观评价与面向特定任务的评价指标,以此评估模型在真实临床场景下的适用性。此外,缺乏多中心验证仍是所有类型模型共同存在的主要局限。


6、挑战与临床局限

  生成式 AI 在放射学领域具备良好的应用前景,可用于图像合成、图像增强与异常检测等方向,但仍存在诸多难题制约其大规模落地:

1. 数据质量与数据偏倚

  • 高质量标注数据集:医学影像数据集通常样本量有限、领域特异性强,且依赖专家标注。
  • 数据集偏倚:在不均衡数据上训练得到的模型,在不同人群中泛化能力较差。
  • 数据集偏移:生成模型大多基于单中心数据集训练;受扫描仪型号、成像协议、受试人群差异影响,模型难以跨机构泛化。数据集偏移问题会显著影响模型在真实部署场景下的鲁棒性与可靠性。

2. 监管与伦理问题

  • 可解释性缺失:面向临床决策的 AI 生成图像应当具备可解读性与可解释性。
  • 患者隐私:合成医学图像若未完成恰当去标识化,存在患者身份被重新识别的风险。
  • 监管壁垒:将生成式 AI 纳入临床工作流,需要符合严苛的监管规范。在美国,基于 AI 的医疗系统需经美国食品药品监督管理局(FDA)审批;在欧洲,则需要满足医疗器械法规(MDR)下的 CE 认证要求。上述监管机构要求产品在临床应用前完成充分验证、保障透明性、可复现性并开展风险评估。

3. 技术局限

  • 模式崩溃与伪影:GAN、扩散模型等生成模型可能生成不符合真实情况或者重复的图像特征。
  • 泛化能力:在特定数据集上训练得到的模型,难以在不同扫描仪、不同医院或不同人群中稳定发挥效果。
  • 生成模型还面临诸多难题:GAN 存在训练不稳定问题,扩散模型算力开销大,同时模型难以和现有临床系统对接。上述问题阻碍了其在医疗场景下的实时部署与规模化落地。

4. 与临床工作流的集成

  • 与 PACS、电子病历系统(EHR)的兼容性:AI 生成图像需要能够无缝接入现有的放射系统。
  • 实时推理:AI 模型需要高效快速生成图像,以满足时间敏感场景的使用需求。

5. 幻觉风险与临床安全

  生成模型(尤其是 GAN 与扩散模型)有可能生成视觉上逼真、但解剖结构错误的幻觉结构;PSNR、SSIM 这类常规评价指标无法识别该类问题。这类偏差会对诊断与治疗方案制定造成不利影响。


7、结论与未来方向

  **本文系统梳理了生成式 AI 在现代放射学领域的变革性作用,阐明其具备提升诊断精度、降低辐射暴露、解决医学影像工作流程中长期难题的潜力。**文章综述了多种生成模型,包括生成对抗网络、扩散模型、变分自编码器、自回归架构以及基于 Transformer 的系统,阐释了上述技术可实现高保真图像合成、模态转换、分辨率增强、异常检测以及预测分析,适用于 X 线、CT、MRI、PET 与超声等多种影像模态。

  从技术层面来看,本综述在已有研究基础上进一步开展模型横向对比、多指标评估以及分模态性能分析。与既往综述不同,本文重点讨论模型架构与临床适用性之间的关联:扩散模型能够提升稳定性,生成对抗网络可优化图像清晰度,基于 Transformer 的模型则支持多模态融合。

  尽管取得上述进展,生成式 AI 的临床转化仍较为有限。现有多数研究依赖单中心数据集,缺少外部验证,使其在多样化临床环境下的泛化性与可靠性存疑。因此,开展大规模多中心验证、建立标准化评估方案,对于保障模型在真实放射学流程中具备稳健性、可复现性并实现安全部署至关重要。

  总体而言,生成式 AI 在推动医学影像发展方面潜力巨大,但想要成功落地于临床,仍需要攻克验证、可解释性以及合规监管等一系列难题。


8、未来研究方向

    1. 提升可解释性:在图像增强与异常检测任务中引入可解释人工智能,开发相关技术,使放射科医师能够更好地理解 AI 生成图像。
    1. 域自适应与迁移学习:提升 AI 模型在不同医院、不同行业及其他真实场景下的泛化能力。借助迁移学习,将基于大数据集训练得到的模型适配到小规模、特定场景数据集。
    1. 多模态 AI 模型:融合 X 线、CT 等多种影像模态,挖掘更具价值的诊断信息。为提升预测分析能力,需开发更多能够整合、处理不同影像源数据的模型。
    1. 实时 AI 辅助诊断:研发实时 AI 系统,辅助放射科医师提升诊断准确率,检出更多影像异常;面向临床工作流对 AI 模型进行实时推理优化。
    1. 低资源 AI 模型:研发算力需求更低的 AI 系统,使其能够在医疗资源有限的场景中投入使用。
    1. 面向高保真图像合成的扩散模型:该类模型依靠迭代去噪过程保障解剖结构的完整性,克服生成对抗网络存在的训练不稳定、模式坍缩等核心缺陷。
    1. 联邦学习:支持多机构协同训练模型,无需共享敏感患者数据,在保护隐私的同时提升模型泛化性能。
    1. 物理信息驱动生成模型:将影像领域物理先验融入生成模型(例如 MRI 采集流程、CT 重建原理),提升解剖结构一致性与图像真实度;该方向契合物理信息机器学习的前沿进展。
    1. 基准数据集与标准化:构建大规模、公开、多中心基准数据集,是实现模型公平对比、保障结果可复现的基础;医学影像 AI 领域也普遍强调建立标准化评估框架。
    1. 临床验证与落地部署:后续研究应优先开展前瞻性研究与真实世界验证,评估模型的临床价值、安全性以及和现有工作流的适配能力。

  完结撒花(●'◡'●)

相关推荐
数字孪生视频孪生43 分钟前
在线重构,实时同步:视频动态三维重建打造 “常更常新” 的数字底座
大数据·人工智能·重构·架构·空间计算
CyrusYiVPP1 小时前
手写 MCP Server:给问答机器人接上本地文件工具,Python 实战第 13 期
人工智能·python
狂师1 小时前
Agent评测工具链大全:Promptfoo、DeepEval 与 LangSmith
人工智能·agent·测试
kaixin_啊啊1 小时前
【零基础学AI】第 28 章——大语言模型怎样训练出来
人工智能·语言模型·自然语言处理
Aloudata1 小时前
Claude 做数据分析的这两年:一份复盘与发展线索
大数据·数据库·人工智能·数据挖掘·数据分析·dataagent
前进的李工1 小时前
Agent 学习笔记 12:Agent 的工具应该怎么设计
人工智能·笔记·学习·agent·工具调用·skill·工具设计
云上工程笔记1 小时前
SRT字幕一键转手绘动画:srt-whiteboard-animation的复刻实录
大数据·开发语言·javascript·人工智能·机器学习
机器学习之心2 小时前
5 个特征、2 个输出:让 DBO 替 CNN-Transformer 挑结构,再用 SHAP 把黑箱撬开
人工智能·cnn·transformer·cnn-transformer