文章目录
-
- [01 基础信息](#01 基础信息)
- [02 背景](#02 背景)
- [03 方法](#03 方法)
- [04 结果](#04 结果)
- [05 思考](#05 思考)
- [06 新掌握的表达](#06 新掌握的表达)
01 基础信息
- 标题：Deep unregistered multi-contrast MRI reconstruction。
- 作者：Xinwen Liu、Jing Wang、Jin Jin、Mingyan Li、Fangfang Tang、Stuart Crozier、Feng Liu。
- 期刊：Magnetic Resonance Imaging，81:33--41，2021。
- 关键词：多对比度 MRI，图像重建，图像配准，空间变换，数据一致性。
- 论文：DOI：10.1016/j.mri.2021.05.005。
- 总结：利用同一患者已经采集的另一种对比度图像辅助欠采样重建，并在网络前端引入可微空间变换模块，自动缓解参考图像与目标图像的错位。整个模型将配准与重建联合训练。
前面的级联网络主要利用当前序列的信息。如果已经有一张清晰的 T1w 图像，能否帮助重建 T2w？这篇文章进一步考虑：参考图像与当前图像没有对齐时，直接共享信息还可靠吗？
02 背景
为什么不同对比度可以互相帮助？
T1w、T2w、FLAIR 等图像的组织亮暗关系不同，但同一患者的脑沟、脑室和组织边界具有大量共享结构。充分利用这些信息，可以减轻目标序列欠采样造成的信息缺失。
给定目标测量 y y y 与参考图像 x r e f x_{\mathrm{ref}} xref，原文将问题写为：
x ∗ = arg min x { ∥ F x − y ∥ 2 + λ R ( x , x r e f ) } x^*=\arg\min_x\left\{\|Fx-y\|2+\lambda R(x,x{\mathrm{ref}})\right\} x∗=argxmin{∥Fx−y∥2+λR(x,xref)}
F F F 是欠采样傅里叶算子，第一项约束目标测量，第二项利用目标图像与参考图像之间的关系。
问题出在哪里？
不同序列通常先后采集，患者可能平移或转头。此时参考图像某个位置的组织，未必对应目标图像相同位置的组织。直接拼接两张图像，可能把不属于当前位置的信息带入重建。
重新整理的一些背景知识：
多对比度与多线圈有什么区别？
多对比度指不同序列产生的不同组织对比；多线圈指不同接收线圈提供的空间编码信息。本文重点处理前者，不能将"有多个输入图像"直接理解为已经验证了多线圈原始数据重建。
什么是图像配准？
寻找空间坐标变换，使不同图像中对应的解剖结构对齐。它改变的是空间位置，不要求把 T1w 的组织强度变成 T2w 的组织强度。
什么是空间变换模块（Spatial Transformation，ST）？
由网络预测坐标变换，再通过可微采样得到变换后的图像。这样，后续的重建误差也可以反向影响配准参数。
03 方法
（1）整体框架：ST + 级联 CNN/DC
输入是零填充重建图像 x 0 x^0 x0 与完整参考图像 x r e f x_{\mathrm{ref}} xref。ST 模块首先输出对齐参考：
T θ = L l o c ( x r e f , x 0 ) , x r e f ′ = Warp ( x r e f ; T θ ) \mathcal T_\theta=L_{\mathrm{loc}}(x_{\mathrm{ref}},x^0), \qquad x'{\mathrm{ref}}=\operatorname{Warp}(x{\mathrm{ref}};\mathcal T_\theta) Tθ=Lloc(xref,x0),xref′=Warp(xref;Tθ)
之后，将同一张 x r e f ′ x'_{\mathrm{ref}} xref′ 与每轮当前重建拼接，送入 CNN，再经过 DC 更新。
图 1：来源于原论文 Fig. 1。ST 根据参考图像与欠采样输入预测变换，变换后的参考图像参与各级联的特征提取。
注意：图中 ST 位于重建网络前端，不是每个级联都重新执行一次独立配准。
（2）定位网络预测六个变换参数
定位模块使用卷积、最大池化和全连接层，输出一个 2 × 3 2\times3 2×3 坐标变换矩阵：
T θ = θ 11 θ 12 θ 13 θ 21 θ 22 θ 23 \mathcal T_\theta= \begin{bmatrix} \theta_{11}&\theta_{12}&\theta_{13}\\ \theta_{21}&\theta_{22}&\theta_{23} \end{bmatrix} Tθ=θ11θ21θ12θ22θ13θ23
论文主要针对平移、旋转等头部运动。严格地说，六个自由参数构成二维仿射形式，可以表示的变换范围比仅有旋转和平移的刚体变换更广；不能因为实验模拟的是刚体运动，就把网络说成只输出三个刚体参数。
定位模块首先使用 8 个 3 × 3 3\times3 3×3 卷积核，再经池化与 ReLU；随后使用 10 个卷积核及进一步池化，最后展平并通过全连接层回归参数。初始化时输出恒等变换，以减少训练初期的破坏。
（3）网格采样器完成可微变形
对输出图像的每个网格位置，通过变换计算其在输入参考图像中的采样坐标，再用双线性插值获得像素值。
这种"输出位置寻找输入采样点"的形式与直接把输入像素推到输出位置不同。坐标变换与插值均可参与反向传播，ST 才能与重建网络一起优化。
（4）配准参考与当前重建一起进入 CNN
重建主干包含 5 个级联，每个 CNN 使用 5 层卷积、4 个 ReLU、32 个特征通道和残差连接，主要卷积核为 3 × 3 3\times3 3×3。
每个级联先融合当前目标图像与已对齐参考，再由 DC 结合目标序列实际采集的 k-space 信息进行校正。参考图像提供先验，目标测量仍然提供独立约束。
（5）联合重建误差与配准相似性
训练损失为：
L = ∥ x T − x g t ∥ 1 − ω NCC ( x r e f ′ , x g t ) \boxed{\mathcal L=\|x^T-x_{\mathrm{gt}}\|1-\omega\operatorname{NCC}(x'{\mathrm{ref}},x_{\mathrm{gt}})} L=∥xT−xgt∥1−ωNCC(xref′,xgt)
第一项减少最终重建与真值之间的绝对误差；第二项鼓励变换后的参考与目标真值在空间结构上更相关。NCC 表示归一化互相关，原文采用局部均值定义。
这里尤其要区分训练与推理：训练时有目标真值，用它构造损失；推理时 ST 接收的是参考图像和欠采样输入，不需要目标真值。 因此，这是监督重建框架，并不是因为配准过程没有变换标签就变成了完全自监督重建。
作者设置 ω = 10 − 4 \omega=10^{-4} ω=10−4，使用 Adam，初始学习率 0.001，训练 100 个 epoch，并采用权重的 ℓ 2 \ell_2 ℓ2 正则化。
04 结果
数据与运动设置：
- BraTS：100 名患者的 T1w/T2w 图像，训练、验证、测试分别为 80/10/10 人，对应 4880/610/610 张切片。目标是 T2w，参考是 T1w，图像为 240 × 240 240\times240 240×240。
- BraTS 原数据已经对齐，因此人为加入 − 5 , 5 -5,5 −5,5 度旋转、横纵向 − 5 , 5 -5,5 −5,5 像素平移及其组合。
- MRBrainS：7 名受试者的 T1w-IR/T2w-FLAIR，原本存在错位。6 人用于训练，通过增强形成 3000 张切片，1 人用于测试。
- 对目标序列沿相位编码方向进行回顾性 Gaussian 掩膜欠采样，考察 8 倍与 16 倍加速。
BraTS 上的比较：
下表摘自原文 Table 1，单位为 PSNR / dB。所有方法与对应运动条件比较：
| 加速与运动 | 不使用参考 | 直接使用未配准参考 | 本文方法 |
|---|---|---|---|
| 8 倍，平移 | 32.84 | 32.89 | 34.63 |
| 8 倍，旋转 | 32.84 | 33.25 | 34.39 |
| 8 倍，平移加旋转 | 32.84 | 32.84 | 34.32 |
| 16 倍，平移 | 28.73 | 28.90 | 31.30 |
| 16 倍，旋转 | 28.73 | 29.81 | 31.63 |
| 16 倍，平移加旋转 | 28.73 | 28.87 | 31.09 |
以 16 倍、平移加旋转为例，本文方法比不使用参考提高 2.36 dB ，比直接拼接未配准参考提高 2.22 dB。这说明参考图像是否对齐，会明显影响共享信息的收益。
图 2：来源于 Fig. 4，对应 BraTS 的 16 倍欠采样。依次为真值、零填充、不使用参考、使用未配准参考和本文方法；下方包含局部放大及误差图。
MRBrainS 上的比较：
下表摘自 Table 2，数值为 PSNR / SSIM，SSIM 沿用原文的百分数表示：
| 加速 | 不使用参考 | 未配准参考 | 本文方法 |
|---|---|---|---|
| 8 倍 | 33.45 / 93.00% | 35.96 / 96.01% | 36.39 / 96.38% |
| 16 倍 | 28.76 / 85.58% | 32.97 / 93.33% | 33.58 / 93.76% |
这里未配准参考本身已有较大收益，ST 又带来进一步改善。增益大小与错位程度、序列配对和欠采样程度有关，不能认定"未配准参考一定没有帮助"。
配准是否真的起作用？
作者在 Fig. 5 将参考与目标用彩色叠加显示，比较 ST 前后的空间位置，观察到错位减少。这提供了中间机制的可视化证据，而不只是最终 PSNR 的比较。
原文主要给出质量结果，没有给出足以支持某个毫秒级推理结论的定量耗时表；不能将单次前向传播直接换算成已验证的实时性能。
05 思考
跨对比度共享的应该是什么？
主要是对应的解剖结构，而不是简单复制强度。参考中清晰的边界可能有帮助，但某些病灶只在目标序列中明显，不能假设所有结构都应相同。
为什么将配准放入重建网络？
严重欠采样图像本身有混叠，独立配准可能难以找到稳定对应。联合训练让配准不仅追求相似性，也受到最终重建任务的约束。
但训练时使用了真值引导 NCC，这一优势依赖监督数据；与 SSDU 等无全采样参考的训练机制需要区分。
参考图像是否意味着"免费加速"？
本文假设完整参考已经获得。8 倍或 16 倍描述目标序列的欠采样，不等于整个多序列检查时间同样缩短 8 倍或 16 倍。评价完整扫描流程时，还需要计入参考序列。
哪些运动还没有充分覆盖？
主要实验是二维平移和旋转，以及有限受试者的原生错位。层间对应错误、离面运动、大幅非刚性变形与采集过程中的运动，并不能直接由这些结果保证。作者也将非刚性配准列为后续方向。
可以学习的点？
先检查辅助信息的对应关系，再设计特征融合；把可微坐标变换接入任务网络；用"不使用参考---直接使用参考---配准后使用参考"逐级实验，判断改进究竟来自哪里。
06 新掌握的表达
多对比度 MRI：multi-contrast MRI
未配准参考图像：unregistered reference images
可共享信息：shareable information
空间变换模块：spatial transformation module
归一化互相关：normalized cross-correlation
定位模块：localization module
网格采样器：grid sampler