Transformer在医学影像中的应用综述-分类

文章目录


总体结构

COVID-19 Diagnosis

黑盒模型

  1. Point-of-Care Transformer(POCFormer):利用Linformer将自注意的空间和时间复杂度从二次型降低到线性型。POCFormer有200万个参数,约为MobileNetv2的一半,因此适合于实时诊断。
  2. Vision Outlooker (VOLO):新注意机制,将精细级特征编码为ViT token 表征,从而提高分类性能。
  3. Swin Transformer和Transformer-in-Transformer将COVID-19图像从肺炎图像和正常图像中分类。
  4. FESTA利用了联邦和分裂学习的优点,利用ViT同时处理多个胸部x射线任务
  5. 变压器和cnn组成的混合网络
  6. 基于Swin Transformer的两阶段框架:基于UNet的肺分割模型,然后使用Swin Transformer主干进行图像分类

可解释的模型

基于显著性的可视化和基于梯度的方法

肿瘤分类

黑盒模型

TransMed:第一个利用ViTs进行医学图像分类的工作。它是一种基于CNN和变压器的混合架构,能够对多模态MRI医学图像中的腮腺肿瘤进行分类

Gene-Transformer:预测肺癌亚型

多尺度GasHis-Transformer来诊断胃癌

对称交叉熵损失函数诊断急性淋巴细胞白血病的混合模型

可解释模型

基于全切片成像(WSI)的病理诊断中,一个标签分配给一组实例(袋)。

如果至少有一个实例是正的,则标记为正的;如果袋子中的所有实例都是负的,则标记为负的

TransMIL利用两个基于Transformer的模块和一个位置编码层聚合形态信息,为了对空间信息进行编码,提出了一种金字塔位置编码发生器,注意力得分已被可视化,以证明可解释性

图形转换网络(GTN)来利用基于图的WSI表示。GTN由图卷积层、变压器层和池化层组成。GTN进一步使用GraphCAM来识别与类标签高度相关的区域。

视网膜疾病分类

MIL-ViT模型,该模型首先在大型眼底图像数据集上进行预训练,然后在视网膜疾病分类的下游任务上进行微调。

MIL-ViT架构使用基于mil的磁头,可以与ViT一起以即插即用的方式使用。

病变感知变压器(LAT),该变压器由基于像素关系的编码器和病变感知变压器解码器组成

卷积层和Transformer层组成的混合架构

小结

必须更多地关注为COVID-19诊断设计可解释(以获得最终用户信任)和高效(用于即时检测)的ViT模型,使其成为未来RTPCR检测的可行替代方案。

强调一下一个令人兴奋的工作,他们首次证明了在ImageNet上预训练的ViTs在医学图像分类任务中的表现与cnn相当,如表5所示。这也提出了一个有趣的问题:"在医学成像数据集上预训练的ViT模型在医学图像分类方面是否比在ImageNet上预训练的ViT模型表现得更好?"最近的一项工作试图通过在大规模2D和3D医学图像上预训练ViT来回答这个问题。在医学图像分类问题上,他们的模型比在ImageNet上预训练的ViT模型获得了实质性的性能提升,这表明该领域值得进一步探索。

相关推荐
大多_C15 分钟前
量化方法分类
人工智能·分类·数据挖掘
deephub2 小时前
计算加速技术比较分析:GPU、FPGA、ASIC、TPU与NPU的技术特性、应用场景及产业生态
人工智能·深度学习·gpu·计算加速
意.远3 小时前
PyTorch参数管理详解:从访问到初始化与共享
人工智能·pytorch·python·深度学习
知来者逆4 小时前
计算机视觉——为什么 mAP 是目标检测的黄金标准
图像处理·人工智能·深度学习·目标检测·计算机视觉
MobiCetus4 小时前
Deep Reinforcement Learning for Robotics翻译解读2
人工智能·深度学习·神经网络·机器学习·生成对抗网络·计算机视觉·数据挖掘
搬砖的阿wei4 小时前
跳跃连接(Skip Connection)与残差连接(Residual Connection)
深度学习·residual·skip connection
Listennnn5 小时前
自动化网络架构搜索(Neural Architecture Search,NAS)
人工智能·深度学习·自动化
欲掩5 小时前
神经网络与深度学习:案例与实践——第三章(3)
人工智能·深度学习·神经网络
Blossom.1185 小时前
大数据时代的隐私保护:区块链技术的创新应用
人工智能·深度学习·自动化·区块链·智能合约
机器鱼6 小时前
基于YOLO11实例分割与奥比中光相机的快递包裹抓取点检测
深度学习