Frequency-aware Feature Fusion for Dense Image Prediction 论文阅读

摘要:密集图像预测任务要求具有强类别信息和高分辨率精确空间边界细节的特征。为了实现这一点,现代分层模型通常利用特征融合,直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中,我们观察到融合特征值在对象内的快速变化,由于高频特征的干扰导致类别内不一致。此外,融合特征中模糊的边界缺乏准确的高频,导致边界位移。基于这些观察结果,我们提出了频率感知特征融合(FreqFusion),集成了自适应低通滤波器(ALPF)发生器,偏移发生器和自适应高通滤波器(AHPF)发生器。ALPF生成器预测空间变化的低通滤波器,以衰减对象内的高频组件,减少上采样期间的类内不一致。偏移量发生器通过重采样将不一致的特征替换为更一致的特征来细化大的不一致特征和细边界,而AHPF发生器增强了下采样过程中丢失的高频详细边界信息。综合可视化和定量分析表明,FreqFusion有效地提高了特征一致性和清晰的目标边界。在各种密集预测任务中进行的大量实验证实了其有效性。该代码可在https://github.com/ying-fu/FreqFusion上公开获取。

索引术语:特征融合、特征上采样、密集预测、语义分割、目标检测、实例分割、全景分割

相关推荐
joseanne_josie12 小时前
读论文笔记-ALIGN:利用有噪声数据集扩大视觉和视觉-语言表示
论文阅读
RedMery13 小时前
论文阅读笔记:Denoising Diffusion Implicit Models (2)
论文阅读·diffusion model
RedMery15 小时前
论文阅读笔记:Denoising Diffusion Implicit Models (4)
论文阅读·笔记
zhengdao990619 小时前
【论文笔记】Llama 3 技术报告
论文阅读·llama
梦星辰.2 天前
EAGLE-3投机采样论文阅读
论文阅读
dundunmm2 天前
【论文阅读】Self-Correcting Clustering
论文阅读·深度学习·数据挖掘·聚类
UQI-LIUWJ3 天前
论文笔记:Instruction-Tuning Llama-3-8B Excels in City-Scale MobilityPrediction
论文阅读
胆怯的ai萌新3 天前
论文阅读《Proximal Curriculum for Reinforcement Learning Agents》——提升智能体学习速度的
论文阅读
墨绿色的摆渡人4 天前
论文笔记(七十四)Dense Policy: Bidirectional Autoregressive Learning of Actions
论文阅读
s1ckrain4 天前
【论文阅读】VideoMerge: Towards Training-free Long Video Generation
论文阅读·人工智能·计算机视觉