Frequency-aware Feature Fusion for Dense Image Prediction 论文阅读

摘要:密集图像预测任务要求具有强类别信息和高分辨率精确空间边界细节的特征。为了实现这一点,现代分层模型通常利用特征融合,直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中,我们观察到融合特征值在对象内的快速变化,由于高频特征的干扰导致类别内不一致。此外,融合特征中模糊的边界缺乏准确的高频,导致边界位移。基于这些观察结果,我们提出了频率感知特征融合(FreqFusion),集成了自适应低通滤波器(ALPF)发生器,偏移发生器和自适应高通滤波器(AHPF)发生器。ALPF生成器预测空间变化的低通滤波器,以衰减对象内的高频组件,减少上采样期间的类内不一致。偏移量发生器通过重采样将不一致的特征替换为更一致的特征来细化大的不一致特征和细边界,而AHPF发生器增强了下采样过程中丢失的高频详细边界信息。综合可视化和定量分析表明,FreqFusion有效地提高了特征一致性和清晰的目标边界。在各种密集预测任务中进行的大量实验证实了其有效性。该代码可在https://github.com/ying-fu/FreqFusion上公开获取。

索引术语:特征融合、特征上采样、密集预测、语义分割、目标检测、实例分割、全景分割

相关推荐
UQI-LIUWJ2 小时前
论文笔记:Instruction-Tuning Llama-3-8B Excels in City-Scale MobilityPrediction
论文阅读
胆怯的ai萌新4 小时前
论文阅读《Proximal Curriculum for Reinforcement Learning Agents》——提升智能体学习速度的
论文阅读
墨绿色的摆渡人1 天前
论文笔记(七十四)Dense Policy: Bidirectional Autoregressive Learning of Actions
论文阅读
s1ckrain1 天前
【论文阅读】VideoMerge: Towards Training-free Long Video Generation
论文阅读·人工智能·计算机视觉
Ayakanoinu1 天前
【论文阅读】Dynamic Adversarial Patch for Evading Object Detection Models
论文阅读·目标检测·目标跟踪
寻丶幽风1 天前
论文阅读笔记——ReconDreamer
论文阅读·笔记·自动驾驶·3dgs·世界模型·闭环仿真
金科铁码1 天前
提示词工程 — 科研论文笔记
论文阅读
0x2112 天前
[论文阅读]Attacking Open-domain Question Answering by Injecting Misinformation
论文阅读
黄雪超2 天前
Flink介绍——实时计算核心论文之S4论文详解
大数据·论文阅读·flink
Matrix_112 天前
论文阅读:GS-Blur: A 3D Scene-Based Dataset for Realistic Image Deblurring
论文阅读·人工智能·计算摄影