交叉调制少样本图像生成用于结直肠组织分类

文章目录

  • [Cross-Modulated Few-Shot Image Generation for Colorectal Tissue Classification](#Cross-Modulated Few-Shot Image Generation for Colorectal Tissue Classification)

Cross-Modulated Few-Shot Image Generation for Colorectal Tissue Classification

摘要

  1. 提出问题:

    • 针对罕见癌症组织的组织病理训练数据稀缺问题,他们提出了少样本结直肠组织图像生成方法。
  2. 方法介绍:

    • 提出的方法名为XM-GAN,接受一个基准图像和一对参考组织图像作为输入,生成高质量且多样化的图像。
    • 在XM-GAN中,采用了一种新颖的可控融合块,通过密集聚合参考图像和基准图像中局部区域的相似性,产生局部一致的特征。
  3. 研究贡献:

    • 他们是第一个研究结直肠组织图像中少样本生成的团队。
    • 通过广泛的定性、定量和专家(病理学家)评估,对其提出的方法进行评估。
  4. 评估结果:

    • 在专家评估中,病理学家仅在55%的时间内能够区分XM-GAN生成的组织图像和真实图像。
    • 利用生成的图像作为数据增强,解决少样本组织图像分类任务,在平均准确率方面取得了4.4%的提升。

方法


Fig. 1 : XM-GAN由一个CNN编码器、一个基于Transformer的可控融合块(CFB)和一个用于组织图像生成的CNN解码器组成。对于K-shot设置,一个共享编码器 F E F_E FE接受一个基准组织图像 x b x^b xb 以及 K − 1 K-1 K−1 个参考组织图像 x i r e f i = 1 K − 1 {x^{ref}i}^{K-1}{i=1} xirefi=1K−1,分别输出视觉特征 h b h^b hb 和 h i r e f h^{ref}_i hiref。在CFB中,一个映射网络计算元权重,用于在交叉注意力期间生成特征重新加权的调制权重。交叉注意力得到的特征 f i f_i fi 被融合并输入到解码器 (FD) 中,生成一幅图像 x ^ \hat{x} x^。


z z z为噪声, α \alpha α为控制参数

实验结果

相关推荐
Forget the Dream37 分钟前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴1 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
火山引擎开发者社区1 小时前
豆包工作,3 个月,800 万,20 亿
人工智能
Chuck.li1 小时前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作
aleimu2 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
SwanArc技术笔记2 小时前
读技术文档,先用哪个 AI?模型指南筛选与 GPT-6.2 Astra 实操
人工智能
深海鱼在掘金2 小时前
深入浅出RAG——第21章:回顾与展望
人工智能
羲云网络2 小时前
GPT Image 2.6 GIF 交付排障:上线后为什么只剩第一帧?
图像处理·人工智能·前端开发·gif
安爹前沿AI2 小时前
Seedance 有个文档里没写的参数:开了码率涨 3.9 倍,费用一分没多
人工智能
深海鱼在掘金2 小时前
深入浅出RAG——第20章:端到端实战:企业级知识库问答系统
人工智能