研读论文之 Image Quality-aware Diagnosis via Meta-knowledge Co-embedding
- 前言
- 一、简介
- 二、主要内容
-
- [2.1. 图像退化](#2.1. 图像退化)
- [2.2. 图像质量感知诊断(IQAD)](#2.2. 图像质量感知诊断(IQAD))
- [2.3. 元知识协同嵌入网络(MKCNet)](#2.3. 元知识协同嵌入网络(MKCNet))
- 三、实现过程
- 四、优缺点
-
- [4.1. 优点](#4.1. 优点)
- [4.2. 缺点](#4.2. 缺点)
前言
最近看了一篇医学图像论文，来分享下相关的内容。
一、简介
| 题目 | Image Quality-aware Diagnosis via Meta-knowledge Co-embedding |
|---|---|
| 作者单位 | 香港科技大学 |
| 论文地址 | https://arxiv.org/abs/2303.15038 |
| 代码地址 | https://github.com/chehx/MKCNet |
| 发布时间 | 2023 年 3 月 27 日 |
文章先抛出了一个问题，在进行医学图像处理的时候会出现图像退化问题，因此产生了许多低质量图像，过去的研究中主要工作就是剔除这些低质量图像，而本文提出了一个新的方法，也就是题目的中文翻译基于元知识协同嵌入的图像质量感知诊断，它有效地利用低质量图像及其质量标签，将其加入模型中，助模型识别可能的误差，从而提高诊断的准确性。
二、主要内容
2.1. 图像退化
文章用图1向我们解释了图像退化给诊断结果带来的影响；首先看第一列是正常眼底的高质量 (HQ)图像，第二列是患病眼底的HQ图像，第三列是正常眼底的低质量 (LQ)图像；
这里会发现明明是正常眼底，但是由于图像退化导致的低质量图像显示的却和患病眼底的图像相似，这很容易给疾病诊断带来很大的误差。
图1 图像退化对眼底(上)和OCTA(下)图像诊断语义的影响。第一行:退化使部分血管结构模糊不清，呈现病变样斑点；第二行:退化导致中央凹无血管区(中央圆形区域)扩大。
因此，过去的实验中往往是选择相对HQ的图像而舍弃相对LQ的图像；然而，LQ图像存在很大的潜在价值，在此基础上本文重新考虑了LQ图像和相应图像质量标签的价值，并提出了图像质量感知诊断(IQAD)问题。
2.2. 图像质量感知诊断(IQAD)
IQAD旨在使模型能够利用LQ图像，同时学习图像质量标签，以实现准确和稳健的诊断。然而，对于多任务学习框架来说，有效地利用质量标签进行诊断并非易事。具体来说，图像质量评估可以被认为是与疾病诊断"无关"的任务，因为它侧重于捕捉图像退化，而诊断侧重于识别病变。
为了实现IQAD，本文提出了一种新的元知识协同嵌入网络(MKCNet)，它由任务网络(Task Net)和元学习器(Meta Learner)两个子网组成。
2.3. 元知识协同嵌入网络(MKCNet)
它由任务网络(Task Net)和元学习器(Meta Learner)两部分组成。
- Task Net的主要功能是进行诊断预测。为了充分利用图像质量的信息，它通过知识协同嵌入特征进行预测，这些特征结合了图像质量和疾病诊断的知识。
- 这些知识协同嵌入特征是通过Meta Learner学习辅助标签嵌入来构建的。具体来说，Meta Learner提供了一种辅助的标签嵌入方法，这种方法可以帮助Task Net进行优化，并鼓励其学习有效的知识协同嵌入特征。
- 为了确保辅助标签嵌入的有效性和语义性，并避免获取精细的图像质量标签的困难，引入了元学习和联合编码掩码。联合编码掩码通过结合质量标签和诊断标签的方式，从Meta
Learner的输出中选择一部分作为辅助标签嵌入。
三、实现过程
本节首先介绍了IQAD，并介绍了一个初步的实验，以及所涉及的挑战。然后介绍本文提出的解决方案MKCNet，它有效地解决了这些挑战。
3.1. IQAD问题
问题抽象化：对于给定的图像x，其对应的疾病诊断标签是y_d，而图像质量标签是y_q。IQAD的目标是通过同时利用高质量（HQ）和低质量（LQ）图像以及它们对应的诊断和质量标签，训练一个模型F来实现稳健和准确的诊断。
初步实验 ：直观地说，将图像质量评估（IQA）视为多任务学习框架中的一个辅助分支似乎是一个简单直接的解决方案。为了探索这种方法，作者对VGG16（Vanilla）进行了一个初步的实验。图2结果显示，利用LQ图像对模型学习是有益的。但出乎意料的是，尽管这些标签包含错误的异常信息并提供额外的有用的诊断信息，但将它们纳入模型中只会略微增强或甚至阻碍诊断性能。这表明，有效地利用质量标签并非易事。
图 2. LQ 图像和IQA模块的影响。对于Vanilla来说，利用LQ图像是很有用的，但是 IQA 模块只有很小的改进，或者会损害性能。
在多任务学习的背景下，本文认为IQAD的挑战是双重的。
- 第一个挑战：图像质量和疾病诊断之间的关系并不直接。通常，为疾病诊断训练的模型会关注损伤区域和解剖结构，而图像质量评估则需要模型捕捉图像退化。这两个任务的焦点不同，因此需要一个专门的设计来使模型能够有效地利用质量信息。为了解决这个问题，作者设计了Task
Net，它包括一个明确的使用机制，用于利用知识协同嵌入特征进行诊断。 - 第二个挑战：二分类或多分类的质量注释的粒度有限，无法捕获图像退化的多样性和程度。这导致了模型缺乏可以指导其的详细信息，并使得建立图像质量如何影响疾病诊断的固定模式变得具有挑战性。此外，确定图像级别的标签准则用于关联质量和诊断是复杂的，而为退化提供像素级信息的标注是昂贵的。由于标签的局限性，即使存在明确的使用机制，模型也可能无法有效地利用质量信息。为了解决这个问题，作者采用了一个元学习范式，其中Meta Learner被训练为提供表示图像质量和疾病诊断标签之间自适应关联的辅助标签嵌入，从而允许模型有效地利用质量信息。
3.2. 元知识协同嵌入网络 (MKCNet)
组成：如图3所示，MKCNet由两个子网组成，分别是Task Net（表示为M_θ）和 Meta Learner（表示为M_Φ）。
图3. MKCNet 架构
3.2.1功能
给定一个图像x及其对应的图像质量和疾病诊断标签y_q和y_d，Meta Learner 从其输出向量中获取一个辅助标签嵌入y_ω。Task Net对于y_q、y_d和y_ω的预测分别表示为M_θ^q (x)、M_θ^d (x)和M_θ^ω (x)。
3.2.2优化策略
作者采用了两阶段的学习范式来优化MKCNet。第一阶段中，Task Net 使用y_q、y_d和y_ω进行训练。在第二阶段，Meta Learner通过元学习学习提供y_ω，以优化Task Net中的知识协同嵌入特征。这两个阶段在每个训练周期中都是迭代的，这导致了两个子网之间的端到端交互。
3.2.3 Task Net的设计
Task Net先从backbone提取出包含综合语义的特征图F_θ，然后通过三个基于全局注意块（GAB）的分支，分别对应监督信号y_q、y_d和y_ω，用于解耦包含诊断相关信息的特征f_θ^d，包含图像质量评估相关信息f_θ^q，包含了疾病诊断和图像质量的联合语义的知识协同嵌入特征f_θ^ω。
此外，作者还设计了元知识辅助块（MAB）来明确探索f_θ^ω在疾病诊断中的潜在帮助。MAB首先通过一个通道式注意块过滤与疾病诊断无关的f_θ^ω通道，然后使用包含诊断相关信息的特征f_θ^d和滤波后的f_θ^ω进行最后的诊断。
Task Net〖 M〗_θ的目标函数L_θ表示为
3.2.4 Meta Learner的设计
Meta Learner的目的是提供一个与图像质量和疾病诊断都相关的监督信号y_ω，并通过联合编码掩码和元辅助学习确保了f_θ^ω的语义约束和有效性。
联合编码掩码的过程：
（1）基于疾病诊断标签y_d和图像质量标签y_q，进行联合编码以生成y_(d,q)。这个联合编码实际上是将两者的标签组合在一起，形成一个新的编码，代表了诊断和图像质量的联合信息。
（2）基于这个联合编码，创建一个二进制掩码B_(y_(d,q) )。这个掩码为与y_(d,q)相关的位置分配值1，为其他位置分配值0。例如，考虑y_q和y_d都属于{0,1}，并且〖 M〗Φ (x)的长度为 4。在这种情下，联合标签编码将是y (d,q)∈{00,01,10,11} ，而B_(y_(d,q) )将分别为[1,0,0,0], [0,1,0,0], [0,0,1,0]和[0,0,0,1]。
（3）进一步，从〖 M〗Φ (x)中派生出y_ω为：y_ω=B (y_(d,q) )⊙〖 M〗_Φ (x)。
在每个优化步骤中，Meta Learner 使用特定的切片y_ω优化〖 M〗_Φ (x)，鼓励在不同的标签组合中构建有区分性的辅助嵌入。这种机制将f_θ^ω与图像质量和疾病诊断的联合语义信息绑定在一起。元辅助学习的任务是优化φ以最小化Task Net M_θ的目标函数L_θ，过程为：
（1）首先，执行一步伪更新，使用学习率α来模拟y_ω对θ的影响，得到θ ̃。
（2）然后，使用第二导数技巧来更新。
（3）为了避免辅助标签嵌入崩溃，通过增加〖 M〗_Φ (x)的熵来引入一个正则化项R(∙) 。
四、优缺点
4.1. 优点
（1）提出了图像质量感知诊断（IQAD）问题，并通过探讨该问题的价值和挑战性来解决实际应用中的难题。
（2）借鉴了多任务学习框架，提出了Meta-Knowledge Co-Embedding Network (MKCNet)，通过有效地利用低质量图像及其质量标签来提高模型的准确性和鲁棒性。
（3）MKCNet包含两个子网络：Task Net和Meta Learner。Task Net构建了一个明确的质量信息利用机制，通过知识嵌入特征增强诊断；而Meta Learner则通过元学习和联合编码屏蔽确保这些特征的有效性和语义约束。
（4）MKCNet在五个数据集上进行了广泛的实验验证，结果表明其具有较高的效果和泛化能力。
4.2. 缺点
（1）复杂度：由于该方法涉及到两个子网络（Task Net 和 Meta Learner）以及元学习技术，这可能会导致模型的复杂度增加，从而对计算资源的需求更高。
（2）质量标签的挑战：本文提到，由于图像质量和疾病诊断之间的目标关系较浅，因此有效利用质量标签来辅助诊断仍然是具有挑战性的。这意味着该方法的成功与否取决于如何设计有效的机制来处理这种相关性。
（3）算法解释性：虽然该方法可以在一定程度上提高模型的准确性，但如何解释模型为何能够做出这样的决策仍然需要进一步研究。这对于医疗应用来说非常重要，因为医生需要了解模型是如何得出诊断结论的。