论文阅读——Pyramid Grafting Network for One-Stage High Resolution Saliency Detection

目录

基本信息

期刊 CVPR
年份 2022
论文地址 https://arxiv.org/pdf/2204.05041.pdf
代码地址 https://github.com/iCVTEAM/PGNet

标题

金字塔嫁接网络的一级高分辨率显著性检测

目前存在的问题

  1. cosod用于低分辨率图片下表现良好,高分辨率下(1080p、2K、4K)分割结果不完整,许多细节区域丢失。随着输入分辨率的急剧增加,所提取特征的大小也随之增大,但由网络决定的感受野是固定的,使得相对感受野较小,最终导致无法捕获对SOD任务至关重要的全局语义。

  2. 高分辨率下目前的两种方法HRSOD,DHQSOD都将SOD划分语义(低分辨率)阶段和详细(高分辨率)阶段,导致2个问题(1)阶段之间的语境语义迁移不一致。将前一阶段得到的中间映射输入到后一阶段,同时传递误差。此外,由于没有足够的语义支持,最后阶段的细化可能会继承甚至放大之前的错误,这意味着最终的显著性映射严重依赖于低分辨率网络的性能。(2)耗时。与单阶段方法相比,多阶段方法不仅难以并行化,而且存在参数数量增加的潜在问题,使其速度较慢。

改进

  1. PGNet框架使用交错连接来捕获连续语义和丰富的细节
  2. 引入了跨模型的嫁接模块,将信息从transformer分支转移到CNN分支,这样CNN不仅可以继承全局信息,还可以弥补两者共有的缺陷。此外,我们还设计了注意引导丢失算法来进一步促进特征嫁接。
  3. 提供了一个新的具有挑战性的超高分辨率显著性检测数据集(UHRSD),包含了5,920张不同场景的图像,分辨率超过4K,并相应的像素显著性标注

网络结构

CMGM模块

解答

为什么要用这两个编码器进行编码

选择Swin transformer和Resnet-18作为编码器。这种组合的选择是为了平衡效率和效果。一方面,transformer编码器可以在低分辨率的情况下获得准确的全局语义信息,卷积编码器可以在高分辨率的输入下获得丰富的细节。另一方面,不同模型提取的特征的可变性可能是互补的,以更准确地识别显著性

另一个写的好的参考

网址

相关推荐
大拨鼠14 小时前
【多模态读论文系列】MINIGPT-4论文笔记
论文阅读
计算机-秋大田15 小时前
基于Spring Boot的船舶监造系统的设计与实现,LW+源码+讲解
java·论文阅读·spring boot·后端·vue
ssf-yasuo15 小时前
SPIRE: Semantic Prompt-Driven Image Restoration 论文阅读笔记
论文阅读·笔记·prompt
YMWM_17 小时前
论文阅读《Structure-from-Motion Revisited》
论文阅读
是瑶瑶子啦17 小时前
【深度学习】论文笔记:空间变换网络(Spatial Transformer Networks)
论文阅读·人工智能·深度学习·视觉检测·空间变换
咔叽布吉19 小时前
【论文阅读笔记】CamoFormer: Masked Separable Attention for Camouflaged Object Detection
论文阅读·笔记·目标检测
热情的Dongming1 天前
【课程总结】day34:多模态大模型之ViT模型、CLIP模型论文阅读理解
论文阅读
chencjiajy2 天前
向量模型Jina Embedding: 从v1到v3论文笔记
论文阅读·embedding·向量模型
HollowKnightZ2 天前
论文阅读笔记:DRCT: Saving Image Super-Resolution away from Information Bottleneck
论文阅读·笔记