Monash 大学与帝国理工团队系统综述 2018--2023 年 173 篇文献，把医学图像合成分为伪 CT、合成 MR、合成 PET 三条任务线，比较 U-Net、GAN、Transformer 与扩散模型的设计、损失函数、数据集与性能。核心判断：Transformer 与扩散模型在脑部 MRI 及部分 CT 任务领先，cGAN 在骨盆 CT 更稳，GAN 仍是 PET 合成主力；配对数据、跨中心泛化与评价口径仍是临床落地瓶颈。
导语
临床常只有一种模态，却需要另一种模态的信息：MRI-only 放疗需要 CT 的电子密度，PET/MRI 需要代谢图，长时间 MRI 常缺某个对比度。医学图像合成用生成模型完成源模态到目标模态的翻译，可减少扫描时间、辐射与费用。但跨模态映射高度非线性，不同模态的解剖与信号并不一一对应；这篇综述把 173 项研究的架构、数据与评价结果并排比较。
背景
CT 给电子密度与骨结构，MRI 给软组织对比，PET 给代谢信息，三者互补但采集代价不同。多模态采集带来辐射、时间、费用与配准误差；传统 atlas/体素方法依赖手工特征，难以建模复杂纹理。深度学习从数据中直接学习跨模态非线性映射，2018 年后成为主流，结构从自编码器、FCN 演进到 U-Net、GAN、ViT 与扩散模型。
▲ 图1 ｜ 深度学习医学图像合成网络发展时间线。 以时间线梳理从自编码器、FCN 到 U-Net、GAN、Transformer 与扩散模型的演进。
综述聚焦三类任务：MRI→CT（伪 CT）、同一检查内补齐对比度或低场→高场（合成 MR）、MRI 或低剂量 PET→全剂量 PET（合成 PET）。三者共享源图到目标图的框架，但难度不同：CT 与 MRI 缺乏直接电子密度对应，PET 与 MRI 是功能-结构映射，MRI 不同对比度则要处理同一解剖的信号变化。
▲ 图2 ｜ 跨模态非线性映射示意。 以合成 MR、PET、CT 为例，展示源与目标模态在解剖、信号与纹理上的非一一对应。
概念解释
合成不是简单的 y = f(x)：同一像素在源图与目标图含义可能不同，网络既要保留解剖结构，又要生成目标模态的对比与纹理。主流生成器有四类：U-Net 用编码器-瓶颈-解码器和跳跃连接兼顾局部细节与全局结构，是最常用骨架；cGAN 加判别器用对抗损失提升真实感，CycleGAN 用循环一致性摆脱配对数据；ViT 把图像切成 patch，用自注意力建模长程依赖；扩散模型逐步去噪学习分布，质量高但采样成本大。
▲ 图3 ｜ U-Net 用于 MRI-to-CT 合成。 编码器下采样、瓶颈层、解码器上采样，跳跃连接融合浅层细节；L1/L2 为常用损失。
损失函数也影响合成结果：L1/L2 保证强度与整体结构，对抗与感知损失补足高频纹理，循环一致性与结构相似性损失在无配对数据时约束解剖一致性。单一损失难以兼顾低频与高频，综述认为，效果较好的方案通常是像素、对抗与感知/风格损失的组合。
研究设计
这是系统综述。作者检索 Scopus 与 PubMed 2018--2023 年 7 月文献，检索词覆盖 synth*、pseudo、translat* 与 deep learning，并联合 CT、MRI、MR、PET、low dose、low count、low field；纳入同行评议期刊与会议论文，排除超分辨率与重建，最终纳入 173 篇。
▲ 图4 ｜ 文献检索与筛选流程。 数据库检索、初筛、全文复核与交叉引用，最终纳入 173 篇；排除超分辨率与重建。
全文按背景---任务综述---网络与损失---数据集---性能评价---挑战组织；三类任务各按输入域与网络架构两条线索展开，同一研究可能在两处被讨论。
▲ 图5 ｜ 综述的组织结构。 第 2 章背景，第 3 章三类任务，第 4 章网络与损失，第 5--6 章数据集与评价，第 7 章挑战。
核心发现
表1 ｜ 三类合成任务的关键性能与下游验证
| 任务 | 主流网络 | 报道性能 | 下游验证 |
|---|---|---|---|
| 伪 CT | U-Net、cGAN、CycleGAN；Transformer/DDPM 在脑部领先 | MAE 50--90 HU；PSNR 20--30 dB | 分割 DSC 0.80--0.98；剂量差 ≤1.2% |
| 合成 MR | GAN → Transformer/扩散 | 脑部 PSNR/SSIM 更优 | 肿瘤分割 DSC 0.87--0.90；CEMRI 89.4% |
| 合成 PET | cGAN、U-Net；GAN 整体领先 | --- | AD/MCI 敏感性改善；烟雾病/卒中 >90% |
伪 CT：从 MRI 估计电子密度
伪 CT 是研究最集中的方向，目标是用 MRI 生成可算放疗剂量的 CT。网络以 U-Net、cGAN、CycleGAN 为主：U-Net 做像素级回归，cGAN 改善骨与空气界面锐度，CycleGAN 解决无配对数据。早期多用 2D 切片，随后 3D U-Net、3D cGAN、2.5D 多切片堆叠减轻层间不连续；三联正交 2D 网络用轴位、冠状位、矢状位并行推理，在不增加 3D 卷积开销下保留空间结构。
▲ 图6 ｜ cGAN 与 CycleGAN 用于 MRI-to-CT 合成。 cGAN 以 MRI 为条件生成 CT，判别器区分真假；CycleGAN 双向生成并用循环一致性约束，可用非配对数据。
难点有规律：颅脑与头颈解剖变异大、骨-空气界面复杂；骨盆与腹部受呼吸、肠腔充盈与软组织变形影响，配准误差会污染标签。对应策略包括注意力引导、多序列融合、迁移学习、半合成数据与频域监督。多数研究 MAE 50--90 HU、PSNR 20--30 dB；Transformer 与 DDPM 在脑部 MAE 更低、PSNR 更高，cGAN 在骨盆更稳。
▲ 图7 ｜ 头颈部 MRI-to-CT 定性比较。 源 MR、真实 CT 与 feature-invariant cGAN、cGAN、CycleGAN 的合成结果；前者骨与高对比细节最接近真实 CT。
合成 MR：补齐对比度与提升场强
合成 MR 主流用 GAN 做同一检查内对比度转换，最常见 T1↔T2，后扩展到 FLAIR、T1c、PD、DWI。按输入输出分为 SIMO、MISO、MIMO：SIMO 用一个输入生成多个对比度，MISO 用多个序列补一个目标，MIMO 用一个模型处理多种转换。多对比度融合的关键是整合共享与独有信息，常见做法有共享潜空间、门控融合、跨模态注意力与多分支编码器。
▲ 图8 ｜ 视觉 Transformer（ViT）架构。 图像切 patch 加位置编码，经多头自注意力与 MLP 编码，再由任务解码器输出；自注意力建模长程依赖。
Transformer 与扩散模型改变了路线。ViT/Swin 用自注意力捕捉跨区域上下文，适合脑部；残差 Transformer 瓶颈、CNN-Transformer 混合结构在局部纹理与全局关系间折中。扩散模型以源 MRI 为条件逐步去噪，SynDiff 用对抗式扩散实现无配对训练，在 BraTS 的 FLAIR↔T2 上伪影更少、结构更完整；潜空间扩散把去噪放到低维空间，缓解 3D 显存压力。
▲ 图9 ｜ 基于扩散模型的 MRI 合成流程。 前向逐步加噪至纯噪声，反向由网络学习去噪，并以源 MRI 为条件；训练目标为预测噪声与真实噪声之差。
SynDiff 把扩散去噪与对抗训练放进循环一致框架，不要求严格配对；与常规 GAN 相比结构保真和伪影控制更稳，代价是采样步骤多、算力高。图10 显示其在 FLAIR 与 T2 双向转换中边界与病灶轮廓更接近真实图像。
▲ 图10 ｜ SynDiff 在 BraTS 上的 MRI 对比度转换。 (a) FLAIR→T2、(b) T2→FLAIR 的定性比较；SynDiff 伪影更少、结构更完整。原图 Özbey et al. (2022)。
另一条线是低场→高场迁移：0.36T 设备成本低但信噪比与分辨率有限，图像质量迁移框架用各向异性 U-Net 学习低场到高场的逆问题，并以模拟低场退化作为前向模型；多对比度低场图像也可联合合成一个或多个高场对比度。
合成 PET：从结构预测代谢
合成 PET 分两类：MRI→FDG PET，用于 PET/MRI 与神经退行性疾病；低剂量 PET（可联合 MRI/CT）→全剂量 PET，用于降低肿瘤患者辐射。网络以 cGAN 与 U-Net 为主，3D 卷积、双向映射 GAN、频率感知 U-Net、全局-局部双分支 GAN 等结构同时保留整体摄取分布与局部病灶；多模态输入是提升解剖定位的常用手段。
▲ 图11 ｜ FREA-UNet 与其他网络的合成 PET 比较。 比较 FREA-UNet、U-Net、UCGAN 与 pix2pix；前者分高低频尺度，分辨率更高、边界更锐利。原图 Emami et al. (2020b)。
数据高度集中：多数研究用 ADNI 的 FDG-PET 与结构 MRI，服务于 AD/MCI 分类；全剂量 PET 多用带 PET/CT 或 PET/MRI 的私有数据。Transformer 与扩散模型也开始进入：BERT 式序列建模处理宽动态摄取值，空间自适应 Transformer 融合 PET/MRI，文本条件扩散把性别、认知评分、淀粉样蛋白状态加入去噪。
网络架构与损失函数：没有一种结构适用于所有任务
综述用"架构地图"归类：多对比度网络分 SIMO/MISO/MIMO；多尺度架构处理不同分辨率；频率不变/频率感知网络分别对齐或分离高低频；配准网络处理错位；引导网络用辅助分类或分割约束生成；正交网络三平面并行。训练上，监督学习依赖配对图像，CycleGAN 代表无监督路线，半监督与零样本方法试图在配对稀缺时保持性能。
▲ 图12 ｜ 医学图像合成网络架构分类。 按 U-Net、cGAN、CycleGAN、Transformer、扩散等家族分组，列出多尺度、频率、配准、引导、正交等变体。
亚组/分层分析
按网络类型分层，三类任务的最优解不同：伪 CT 中 Transformer/DDPM 在脑部 MAE 更低、PSNR 更高，cGAN 在骨盆更稳；合成 MR 中 Transformer/扩散在脑部 PSNR、SSIM 更有竞争力；合成 PET 中 GAN 系列在全剂量重建与 MRI→PET 上整体领先。监督学习多数优于无监督 CycleGAN，少量配对图像即可明显改善质量。
▲ 图13 ｜ 不同网络类型的性能比较。 按三类任务汇总各网络的 PSNR、SSIM 与 MAE；数据集与区域不同，数值不可直接横比。
按区域分层，脑部研究最充分、Transformer/扩散优势最明显；骨盆、头颈、腹部与肺部因软组织变形、骨-空气界面、呼吸运动与低电子密度异质性而更难。下游验证更接近临床：伪 CT 的下游分割 DSC 在 0.80--0.98（骨盆 0.80、肝脏 0.97、儿童颅骨 0.90），放疗剂量最大相对差异多在 1.2% 以内；合成 MRI 肿瘤分割 DSC 0.87--0.90，合成 CEMRI 肿瘤识别准确率 89.4%；合成 PET 可改善 AD/MCI 分类敏感性，烟雾病、颅内狭窄闭塞病与卒中识别准确率超过 90%。
▲ 图14 ｜ 按身体区域的性能比较。 按身体区域汇总三类任务的 PSNR、SSIM 与 MAE；脑部研究最多，骨盆、头颈、腹部、肺部误差与离散度更大。（论文 Figure 14）
临床转化与挑战
第一难题是源图里没有目标图的信息：MRI 对骨皮质与空气几乎无信号，伪 CT 却必须区分；PET 与 MRI 是功能-结构映射，纹理频率差异大；MRI 对比度之间也无一一对应。第二是架构：CNN 感受野有限，ViT 局部细节弱，GAN 可能模式崩溃，扩散模型开销高。第三是数据：配对需要精确配准，呼吸、运动与肠腔充盈带来错位；多数研究为单中心私有数据，跨厂商、场强、协议的外部验证不足。误差在骨-空气界面与病灶边缘最大，这些位置也是放疗与诊断最关注的区域。
总结与展望
综述的结论是：伪 CT 以 U-Net/GAN 为主流，Transformer/扩散在脑部追赶；合成 MR 正从 GAN 转向 Transformer/扩散；合成 PET 仍以 cGAN/U-Net 为主，Transformer、扩散与多任务学习正在进入。临床落地的主要限制在配对数据、跨中心泛化与临床终点验证，生成质量本身已不是首要障碍。未来需多中心前瞻验证，把合成图放入剂量计算、分割、分类等下游任务评估，并统一报告与不确定性量化标准。
参考文献
Dayarathna S, Islam KT, Uribe S, Yang G, Hayat M, Chen Z. Deep learning based synthesis of MRI, CT and PET: Review and analysis. Medical Image Analysis. 2024;92:103046. https://doi.org/10.1016/j.media.2023.103046