Fourier 测试时间自适应与多级一致性用于鲁棒分类

文章目录

  • [Fourier Test-Time Adaptation with Multi-level Consistency for Robust Classification](#Fourier Test-Time Adaptation with Multi-level Consistency for Robust Classification)

Fourier Test-Time Adaptation with Multi-level Consistency for Robust Classification

摘要

该研究提出了一种名为 Fourier 测试时间适应(FTTA)的新方法,以应对不同中心、供应商和协议产生的领域偏移。FTTA 采用双适应设计,将输入和模型调整相结合,从而共同提高模型的鲁棒性。FTTA 的主要思想是建立一种可靠的配对输入的多级一致性度量,以实现对预测的自我校正。

其贡献有两个方面:一是在同一输入的两个转换图像之间鼓励全局特征和局部注意力图的一致性。这里,转换指的是基于 Fourier 的输入适应,可以将一个未见图像转换为源风格以减少域差异。此外利用样式插值图像增强全局和局部特征,具有可学习参数,可以平滑一致性度量并加速收敛。

方法

Fig. 1. 从左到右:1)来自 A 和 B 供应商的心脏四腔视图,2)来自 C 和 D 供应商的腹部平面,3)来自 E-G 中心的糖尿病视网膜病变 3 级的底片图像。每个组中都可以看到外观和分布差异

Fig. 2. 两个具有不同风格的图像之间振幅交换的示意图。右下角显示的伪彩色图像显示了振幅交换前后图像之间的差异。

当给定经过训练的分类器 G G G 时,FTTA的流程如下:

  1. 对于每个未见过的测试图像 x t x_t xt,首先进行傅里叶变换输入适应,将其转换为两个类似源样本的图像 x t 1 x_{t1} xt1和 x t 2 x_{t2} xt2。
  2. 然后,利用线性样式插值,生成两组图像,用于后续的全局特征平滑一致性测量 L f L_f Lf和局部视觉注意力 L c L_c Lc。
  3. 在频率空间中,根据样式插值一致性计算逻辑空间中的正则化 L s L_s Ls。
  4. 最后,基于多一致性损失进行一次更新,输出最终的平均预测。

实验结果




相关推荐
MYZR11 小时前
瑞萨电子:嵌入式计算与芯片技术的创新引领者
人工智能·核心板·ssd2351
胡耀超1 小时前
大模型架构演进全景:从Transformer到下一代智能系统的技术路径(MoE、Mamba/SSM、混合架构)
人工智能·深度学习·ai·架构·大模型·transformer·技术趋势分析
小杨勇敢飞2 小时前
UNBIASED WATERMARK:大语言模型的无偏差水印
人工智能·语言模型·自然语言处理
m0_603888712 小时前
Delta Activations A Representation for Finetuned Large Language Models
人工智能·ai·语言模型·自然语言处理·论文速览
金融小师妹2 小时前
基于哈塞特独立性表态的AI量化研究:美联储政策独立性的多维验证
大数据·人工智能·算法
qinyia3 小时前
Wisdom SSH 是一款创新性工具,通过集成 AI 助手,为服务器性能优化带来极大便利。
服务器·人工智能·ssh
昨日之日20065 小时前
Wan2.2-S2V - 音频驱动图像生成电影级质量的数字人视频 ComfyUI工作流 支持50系显卡 一键整合包下载
人工智能·音视频
SEO_juper8 小时前
大型语言模型SEO(LLM SEO)完全手册:驾驭搜索新范式
人工智能·语言模型·自然语言处理·chatgpt·llm·seo·数字营销
攻城狮7号9 小时前
腾讯混元翻译模型Hunyuan-MT-7B开源,先前拿了30个冠军
人工智能·hunyuan-mt-7b·腾讯混元翻译模型·30个冠军
zezexihaha9 小时前
从“帮写文案”到“管生活”:个人AI工具的边界在哪?
人工智能