技术栈

双模态

一勺汤
5 天前
自研·双backbone·deim·双模态·即插即用·模块改进·deim双模态
红外-可见光DEIM双模态目标检测:多级渐进交互+后端聚合融合架构设计现有主流双模态融合方案设计较为单一,特征利用效率不足,主要存在两类缺陷:浅层早期融合在网络浅层直接拼接双模态特征,模态特征未充分解耦,易发生跨模态噪声相互干扰、有效特征被掩盖的问题,无法发挥双模态互补优势;纯晚期隔离融合采用双分支独立编码,仅在骨干末端进行特征拼接,虽避免了浅层噪声干扰,但编码全程无模态交互,存在特征割裂问题,无法在特征提取阶段互相增益,导致可见光纹理与红外位置信息难以深度融合,模型表征能力存在明显瓶颈。
一勺汤
10 个月前
yolo·双backbone·yolo 双backbone·双模态·yolo双模态·llvip
YOLO 双 Backbone 双模态融合:以 LLVIP 数据集为例的红外 - 可见光目标检测实践在弱光、夜间监控和安防场景中,目标检测面临极大挑战:可见光图像噪声强、细节丢失、目标模糊,而红外图像在结构边缘保持得更好,但语义信息不足。如果能将红外(IR)与可见光(VIS)两种模态有效融合,通常可以大幅提升夜间检测表现。
我是有底线的