DiffMIC: Dual-Guidance Diffusion Network for Medical Image Classification
论文地址[2303.10610] DiffMIC: Dual-Guidance Diffusion Network for Medical Image Classification (arxiv.org)
代码地址 https://github.com/scott-yjyang/DiffMIC
1.摘要
扩散概率模型最近在生成图像建模方面表现出了显著的性能，在计算机视觉领域引起了极大的关注。然而，虽然大量基于扩散的研究都集中在生成任务上，但很少有研究将扩散模型应用于一般的医学图像分类。在本文中，我们提出了第一个基于扩散的模型（称为 DiffMIC），通过消除医学图像中的意外噪声和扰动并稳健地捕获语义表示来解决一般的医学图像分类 。为了实现这一目标，我们设计了一种双条件引导策略，该策略为每个扩散步骤设置了多粒度的条件，以提高逐步区域注意 。此外，我们建议通过**在扩散前向过程中强制最大平均差异正则化来学习每个粒度中的互信息。**我们评估了我们的DiffMIC在三个具有不同图像模式的医学分类任务上的有效性，包括超声图像的胎盘成熟度分级、皮肤镜图像的皮肤病变分类和眼底图像的糖尿病视网膜病变分级。实验结果表明，DiffMIC 大大优于最先进的方法，表明了所提出模型的通用性和有效性。
2.introduction
基于扩散概率模型在生成图像建模中的成就，我们提出了一种新的基于扩散去噪的模型DiffMIC，用于准确分类不同的医学图像模式。据我们所知，我们是第一个提出基于扩散的一般医学图像分类模型。 由于医学图像的扩散过程是随机的，因此我们的方法可以适当地消除医学图像中的不良噪声。2)特别地，我们引入了双粒度条件指导(DCG)策略来指导去噪过程，在扩散过程中使用全局和局部先验来调节每一步 。通过在较小的斑块上进行扩散过程，我们的方法可以区分具有细粒度能力的关键组织。3)此外，我们引入了特定条件的最大平均差异(MMD)正则化来学习每个粒度潜在空间中的互信息，使网络能够建模整个图像和补丁共享的鲁棒特征表示。4)我们评估了DiffMIC在胎盘成熟度分级、皮肤病变分级和糖尿病视网膜病变分级三个二维医学图像分类任务中的有效性。实验结果表明，我们的基于扩散的分类方法在所有三个任务上都一致且显著地超过了最先进的方法。
3.方法
图1显示了我们的医学图像分类网络的示意图。给定输入医学图像x，我们将其传递给图像编码器，得到图像特征嵌入ρ(x)，并采用双粒度条件引导(DCG)模型生成全局先验(yg)和局部先验(yyl)。在训练阶段，我们将扩散过程应用于ground truth y0和不同的先验，生成三个噪声变量yg t, yl t和yt (yg t的全局先验，yl t的局部先验和yt的双先验)。然后，我们将三个噪声变量yg t, yl t和yt及其各自的先验组合起来，并将它们分别投影到潜在空间中。我们进一步将三个投影嵌入分别与图像特征嵌入ρ(x)集成到去噪的U-Net中，并预测了yg t, yl t和yt采样的噪声分布。我们在yg t和yl t的预测噪声上设计了特定条件的最大平均差异(MMD)正则化损失，并在yg t的预测噪声上采用均方误差(MSE)的噪声估计损失来协同训练DiffMIC网络。