交叉调制少样本图像生成用于结直肠组织分类

文章目录

  • [Cross-Modulated Few-Shot Image Generation for Colorectal Tissue Classification](#Cross-Modulated Few-Shot Image Generation for Colorectal Tissue Classification)

Cross-Modulated Few-Shot Image Generation for Colorectal Tissue Classification

摘要

  1. 提出问题

    • 针对罕见癌症组织的组织病理训练数据稀缺问题,他们提出了少样本结直肠组织图像生成方法。
  2. 方法介绍

    • 提出的方法名为XM-GAN,接受一个基准图像和一对参考组织图像作为输入,生成高质量且多样化的图像。
    • 在XM-GAN中,采用了一种新颖的可控融合块,通过密集聚合参考图像和基准图像中局部区域的相似性,产生局部一致的特征。
  3. 研究贡献

    • 他们是第一个研究结直肠组织图像中少样本生成的团队。
    • 通过广泛的定性、定量和专家(病理学家)评估,对其提出的方法进行评估。
  4. 评估结果

    • 在专家评估中,病理学家仅在55%的时间内能够区分XM-GAN生成的组织图像和真实图像。
    • 利用生成的图像作为数据增强,解决少样本组织图像分类任务,在平均准确率方面取得了4.4%的提升。

方法


Fig. 1 : XM-GAN由一个CNN编码器、一个基于Transformer的可控融合块(CFB)和一个用于组织图像生成的CNN解码器组成。对于K-shot设置,一个共享编码器 F E F_E FE接受一个基准组织图像 x b x^b xb 以及 K − 1 K-1 K−1 个参考组织图像 x i r e f i = 1 K − 1 {x^{ref}i}^{K-1}{i=1} xirefi=1K−1,分别输出视觉特征 h b h^b hb 和 h i r e f h^{ref}_i hiref。在CFB中,一个映射网络计算元权重,用于在交叉注意力期间生成特征重新加权的调制权重。交叉注意力得到的特征 f i f_i fi 被融合并输入到解码器 (FD) 中,生成一幅图像 x ^ \hat{x} x^。


z z z为噪声, α \alpha α为控制参数

实验结果

相关推荐
H3C-Navigator8 分钟前
【AI高性能网络解析】第一期:面向GPU算力纵向扩展的Scale-up网络技术研究
网络·人工智能·gpu算力·ai-native
落羽的落羽15 分钟前
【C++】神奇的AVL树
开发语言·数据结构·c++·学习
Danceful_YJ21 分钟前
18.Kaggle竞赛--使用ResNet-50网络进行树叶分类
人工智能·pytorch·深度学习·卷积神经网络
知识分享小能手25 分钟前
Vue3 学习教程,从入门到精通,Vue 3 表单控件绑定详解与案例(7)
前端·javascript·vue.js·学习·前端框架·vue3·anti-design-vue
点云SLAM34 分钟前
TensorFlow 和PyTorch的全方位对比和选择建议
人工智能·pytorch·计算机视觉·tensorflow·深度学习框架·ai部署·ai环境平台
oil欧哟36 分钟前
🧐 AI 批量检查数千份技术文档,如何实现高效文档纠错?
前端·人工智能·ai编程
lishaoan7738 分钟前
用TensorFlow进行逻辑回归(六)
人工智能·tensorflow·逻辑回归
amazinging1 小时前
北京-4年功能测试2年空窗-报培训班学测开-第五十天
python·学习·面试
Jamence1 小时前
多模态大语言模型arxiv论文略读(157)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
巴伦是只猫1 小时前
【深度学习笔记】2 浅层神经网络
笔记·深度学习·神经网络