技术栈
deim双模态
一勺汤
3 小时前
自研
·
双backbone
·
deim
·
双模态
·
即插即用
·
模块改进
·
deim双模态
红外-可见光DEIM双模态目标检测:多级渐进交互+后端聚合融合架构设计
现有主流双模态融合方案设计较为单一,特征利用效率不足,主要存在两类缺陷:浅层早期融合在网络浅层直接拼接双模态特征,模态特征未充分解耦,易发生跨模态噪声相互干扰、有效特征被掩盖的问题,无法发挥双模态互补优势;纯晚期隔离融合采用双分支独立编码,仅在骨干末端进行特征拼接,虽避免了浅层噪声干扰,但编码全程无模态交互,存在特征割裂问题,无法在特征提取阶段互相增益,导致可见光纹理与红外位置信息难以深度融合,模型表征能力存在明显瓶颈。
我是有底线的