即插即用

一勺汤8 天前
自研·双backbone·deim·双模态·即插即用·模块改进·deim双模态
红外-可见光DEIM双模态目标检测:多级渐进交互+后端聚合融合架构设计现有主流双模态融合方案设计较为单一,特征利用效率不足,主要存在两类缺陷:浅层早期融合在网络浅层直接拼接双模态特征,模态特征未充分解耦,易发生跨模态噪声相互干扰、有效特征被掩盖的问题,无法发挥双模态互补优势;纯晚期隔离融合采用双分支独立编码,仅在骨干末端进行特征拼接,虽避免了浅层噪声干扰,但编码全程无模态交互,存在特征割裂问题,无法在特征提取阶段互相增益,导致可见光纹理与红外位置信息难以深度融合,模型表征能力存在明显瓶颈。
一勺汤20 天前
detr·自研·魔改·rtdetr·deim·即插即用·deim改进
DEIM 改进系列(四):concat 融合节点改进——把“简单拼接“升级为“学习式融合“DEIM 的 FPN 用 concat 把上采样后的深层特征与浅层特征拼在一起,原始实现只是 torch.cat(xs, 1)——两路特征零交互,深层语义与浅层细节"各说各话",融合权重固定 50/50。针对这个被每级融合共用的节点,我们做了可即插即用的 Fuse_* 替换变体,覆盖"交叉注意力、自适应加权、注意力重标定、频域/结构相似增强"四类思路,全部保持输出通道与 concat 一致、一行 yaml 切换。本文给出完整变体清单与分组逻辑,重点拆解自研的 Aura(气息感知交叉注意力)。
我是有底线的