Frequency-aware Feature Fusion for Dense Image Prediction 论文阅读

摘要:密集图像预测任务要求具有强类别信息和高分辨率精确空间边界细节的特征。为了实现这一点,现代分层模型通常利用特征融合,直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中,我们观察到融合特征值在对象内的快速变化,由于高频特征的干扰导致类别内不一致。此外,融合特征中模糊的边界缺乏准确的高频,导致边界位移。基于这些观察结果,我们提出了频率感知特征融合(FreqFusion),集成了自适应低通滤波器(ALPF)发生器,偏移发生器和自适应高通滤波器(AHPF)发生器。ALPF生成器预测空间变化的低通滤波器,以衰减对象内的高频组件,减少上采样期间的类内不一致。偏移量发生器通过重采样将不一致的特征替换为更一致的特征来细化大的不一致特征和细边界,而AHPF发生器增强了下采样过程中丢失的高频详细边界信息。综合可视化和定量分析表明,FreqFusion有效地提高了特征一致性和清晰的目标边界。在各种密集预测任务中进行的大量实验证实了其有效性。该代码可在https://github.com/ying-fu/FreqFusion上公开获取。

索引术语:特征融合、特征上采样、密集预测、语义分割、目标检测、实例分割、全景分割

相关推荐
LuH112411 小时前
【论文阅读笔记】Scalable, Detailed and Mask-Free Universal Photometric Stereo
论文阅读·笔记
小嗷犬11 小时前
【论文笔记】Cross-lingual few-shot sign language recognition
论文阅读·人工智能·多模态·少样本·手语翻译
实验室里哈啤酒1 天前
ResEmoteNet论文阅读与推理
论文阅读
LuH11241 天前
【论文阅读笔记】Learning to sample
论文阅读·笔记·图形渲染·点云
开心星人1 天前
【论文阅读】Unlearning Backdoor Attacks in Federated Learning
论文阅读
七夜星七夜月3 天前
时间序列预测论文阅读和相关代码库
论文阅读·python·深度学习
WenBoo-3 天前
HIPT论文阅读
论文阅读
chnyi6_ya3 天前
论文笔记:Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models
论文阅读·人工智能·语言模型
Jude_lennon4 天前
【论文笔记】结合:“integrate“ 和 “combine“等
论文阅读
LuH11244 天前
【论文阅读笔记】HunyuanVideo: A Systematic Framework For Large Video Generative Models
论文阅读·笔记