COD论文笔记 BiRefNet

本质还是一个 U 型编码器解码器结构的分割模型。


我可以考虑将©和(d)结合,即对解码器的输入不进行 patchify,同时在各个阶段引入梯度参考信息

最近的相关工作,中间监督、额外先验(频率,梯度,边缘等)取得不错效果

作者观察到,对原始图像进行导数运算获得梯度特征,可以很好地反映图像对象中的细微和非显著特征。

双边参考是在解码器中的两个辅助信息:

1.层次化的原始图像块

2.梯度监督信息(对于颜色和纹理上与背景高度相似时,梯度信息过于微弱,此时越引入真实GT特征作为侧向监督)

此外作者提出了一些实用的训练策略。

模型整体结构:

所谓的定位模块就是编码器,重建模块就是解码器。

对于COD任务,不需要 Cls 模块。

最下面的 ASPP 得到语义信息较强的粗略预测图,然后引导解码器进行细化分割。

不同阶段的patch块大小不同,所以是 multi-scale supervision。

定位模块

重建模块

大的感受野会丢失细节信息,小的感受野会难以定位大尺度目标。作者是如何平衡的呢?

作者使用了可变形卷积DCN来作为重建块(RB)取代普通的残差块( 1 × 1 , 3 × 3 , 7 × 7 1\times1,3\times3,7\times7 1×1,3×3,7×7)。我可以考虑使用最新的DCNv4来进行实验。

如图所示,所谓的内向参考,其中 F i d + F_i^{d+} Fid+是上一个BirefBlock的输出特征和backbone对应层级特征进行(应该是element-wise addition)得到,然后作为当前BirefBlock的输入,然后作者将当前层级的原始图像进行自适应裁剪得到若干图像块,这两个进行拼接之后送入重构模块,重构模块利用不同感受野和平均池化进行进一步特征提取,然后重构模块输出的特征图副本再送到外向参考中利用梯度监督信息得到 A i G A_i^G AiG , A i G A_i^G AiG 和 F i d ′ F_i^{d'} Fid′ 进行元素级相乘之后得到特征 F i − 1 d F_{i-1}^d Fi−1d

双边参考

内部参考和外部参考分别起到补充高分辨率信息和吸引注意力到细节密集区域的作用。

在内部参考中,原始高分辨率的图像 L L L 被裁剪为与相应解码器阶段的输出特征一致大小的补丁 { P k = 1 N } \{P_{k=1}^N\} {Pk=1N}, 这些补丁与原始特征 F i d + F_i^{d+} Fid+ 叠加后输入重建模块,现有类似技术的方法,要么仅仅在最后的解码阶段添加 L L L,要么将 L L L 调整尺寸,使其适用于低分辨率的原始特征。作者的内部参考通过自适应裁剪避免了这两个问题,并且在每个阶段提供必要的高分辨率信息。




实现细节

消融实验

相关推荐
Eastmount17 小时前
[论文阅读] (55)NDSS26 WebSpotter:Web攻击恶意载荷定位与可解释攻击检测
论文阅读·网络安全·攻击检测·ndss
天树星智源6 天前
记忆该记「赔率跳变」:机器人长时程十连任务,事件记忆 88.0%,删掉失败记录只剩 1.7%
论文阅读·人工智能·机器人
XLYcmy6 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告的建议和改进方向
论文阅读·论文笔记·token·commit·asr·论文分享·tokenizer
XLYcmy8 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告不足
论文阅读·论文笔记·token·cuda·asr·论文分享·tokenizer
feasibility.9 天前
LeCun团队世界模型JEPA首登无人机:9K参数模型,零样本Sim-to-Real飞入100Hz闭环
论文阅读·嵌入式·无人机·具身智能·世界模型·杨立昆·jpea
XLYcmy9 天前
ASR识别任务两篇论文阅读分析与系统方案技术报告 上
论文阅读·ai·gpu·asr·论文分享·speechbrain·wespeaker
Zucker n10 天前
文献发现、课题组织与证据可追溯的论文阅读。
论文阅读·windows·ubuntu
西柚小萌新10 天前
【论文阅读】--可信LLM智能体的威胁与对策 综述
论文阅读
Rocky Ding*10 天前
【三年面试五年模拟】2026-11-05_月之暗面大模型算法岗一面、二面面经全解析
论文阅读·人工智能·深度学习·机器学习·aigc·强化学习·ai-native
Rocky Ding*12 天前
REPA-E技术深度解析:解冻 VAE 之后,扩散模型为什么需要选择梯度
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·repa-e