Fourier 测试时间自适应与多级一致性用于鲁棒分类

文章目录

  • [Fourier Test-Time Adaptation with Multi-level Consistency for Robust Classification](#Fourier Test-Time Adaptation with Multi-level Consistency for Robust Classification)

Fourier Test-Time Adaptation with Multi-level Consistency for Robust Classification

摘要

该研究提出了一种名为 Fourier 测试时间适应(FTTA)的新方法,以应对不同中心、供应商和协议产生的领域偏移。FTTA 采用双适应设计,将输入和模型调整相结合,从而共同提高模型的鲁棒性。FTTA 的主要思想是建立一种可靠的配对输入的多级一致性度量,以实现对预测的自我校正。

其贡献有两个方面:一是在同一输入的两个转换图像之间鼓励全局特征和局部注意力图的一致性。这里,转换指的是基于 Fourier 的输入适应,可以将一个未见图像转换为源风格以减少域差异。此外利用样式插值图像增强全局和局部特征,具有可学习参数,可以平滑一致性度量并加速收敛。

方法

Fig. 1. 从左到右:1)来自 A 和 B 供应商的心脏四腔视图,2)来自 C 和 D 供应商的腹部平面,3)来自 E-G 中心的糖尿病视网膜病变 3 级的底片图像。每个组中都可以看到外观和分布差异

Fig. 2. 两个具有不同风格的图像之间振幅交换的示意图。右下角显示的伪彩色图像显示了振幅交换前后图像之间的差异。

当给定经过训练的分类器 G G G 时,FTTA的流程如下:

  1. 对于每个未见过的测试图像 x t x_t xt,首先进行傅里叶变换输入适应,将其转换为两个类似源样本的图像 x t 1 x_{t1} xt1和 x t 2 x_{t2} xt2。
  2. 然后,利用线性样式插值,生成两组图像,用于后续的全局特征平滑一致性测量 L f L_f Lf和局部视觉注意力 L c L_c Lc。
  3. 在频率空间中,根据样式插值一致性计算逻辑空间中的正则化 L s L_s Ls。
  4. 最后,基于多一致性损失进行一次更新,输出最终的平均预测。

实验结果




相关推荐
whaosoft-1439 小时前
51c大模型~合集43
人工智能
艾莉丝努力练剑9 小时前
【C++:继承和多态】多态加餐:面试常考——多态的常见问题11问
开发语言·c++·人工智能·面试·继承·c++进阶
TextIn智能文档云平台10 小时前
如何提高AI处理扫描文档的精度?
人工智能·自动化
lisw0510 小时前
人和AI的分工模式!
人工智能·青少年编程
rengang6611 小时前
002-Spring AI Alibaba Prompt 功能完整案例
人工智能·spring·prompt·spring ai·ai应用编程
Giser探索家11 小时前
无人机数字资产采集技术架构与实践:从多维度感知到云端化建模的实现路径
大数据·人工智能·算法·计算机视觉·分类·无人机
飞飞是甜咖啡11 小时前
读论文AI prompt
人工智能·prompt
GIS数据转换器11 小时前
基于GIS的智慧畜牧数据可视化监控平台
人工智能·安全·信息可视化·无人机·智慧城市·制造
千年奇葩11 小时前
Unity性能优化之:利用CUDA加速Unity实现大规模并行计算。从环境搭建到实战案例
c++·人工智能·unity·游戏引擎·cuda
攻城狮7号11 小时前
蚂蚁开源高性能扩散语言模型框架dInfe,推理速度提升十倍
人工智能·dinfer·扩散语言模型·蚂蚁开源模型