小组周报
小组成员： 陈思潼
汇报周期： 2026年9月28日---2026年10月11日
一、本周计划
-
文献调研
- 阅读一篇红外与可见光融合相关论文TFDet: Target-Aware Fusion for RGB-T Pedestrian Detection
-
算法实现与实验验证
- 根据云监督效果进行该方向改动
- 找云监督最新方向
- 把softmax改掉成别的权重生成
-
结果整理与问题分析
- 汇总整理实验结果
二、本周进展
2.1 文献阅读进展
本周共阅读相关论文 1 篇，重点关注以下方向：
| 序号 | 论文名称 | 会议/期刊 | 主要内容 | 可借鉴点 |
|---|---|---|---|---|
| 1 | TFDet: Target-Aware Fusion for RGB-T Pedestrian Detection | TNNLS 2025 | 提出全新多光谱特征融合方案 ------ 目标感知融合策略。不同于以往仅做特征拼接融合的方法，本工作进一步做特征优化，增强目标区域表征、抑制背景区域表征 |
2.2 实验与代码进展
本周主要完成了以下实验或代码工作：
- 根据云监督效果进行该方向改动
- 把softmax改掉成别的权重生成
| 第一版改动 | 第二版改动 | 第三版改动 | 第四版改动 | |
|---|---|---|---|---|
| 改动 | 对可信度权重的生成加入云监督，权重初步设为0.1，先只在第三层级做。在原有检测Loss基础上加了云监督loss，云图先转成连续云层强度，转成 Optical reliability 的监督目标，对 OASDFusion 的 reliability 做 BCE | 调小λ＝0.05 | 自适应λ，每10epoch根据map50结果调整参数移动方向，最终检测到参数停留在0.065 | 在原版无云监督的基础上，把softmax改为sigmoid加归一化 |
| 结果 | 0.879±0.044 | 0.909±0.011 | 0.910±0.016 | 0.912±0.011 |
| 分析 | 可能因为辅助云监督损失对可靠性权重学习施加了较强约束，该监督目标与检测任务所需的最优特征分配并不一定完全一致，可能对检测性能产生干扰。 | 有明显提升且不同seed下更稳定 | 略有提升 | 比原版性能差 |
最优框架图如下：
最新云监督论文方向：
-
CFCFNet：直接面向云遮挡目标检测
IEEE JSTARS，2025
该研究提出云去除模块、跨模态特征校准模块和动态融合模块，并构建了 OPTSAR-Cloud 数据集。
-
PLCSeg：保留原始云图信息，而不是只依赖去云结果
GIScience & Remote Sensing，2026
该方法同时利用原始云遮挡图像、去云图像和 SAR 特征，逐层进行交互融合，重点处理云遮挡造成的信息丢失以及去云过程引入的不确定性。
-
Cloud Mask-Guided SAR--Optical Fusion：云掩膜引导融合
IEEE JSTARS，2026
该研究显式使用云掩膜引导 SAR--光学融合，并结合空间域与频率域损失，兼顾像素精度、纹理和全局一致性。它主要研究厚云去除和图像重建。
-
NAM-CR：同时考虑 SAR 噪声的质量感知监督
Information Fusion，2026 年 9 月
该研究针对 SAR 辅助去云提出云引导的噪声自适应损失，让学习过程根据 SAR 噪声强度调整，而不只考虑光学图像中的云污染。
当前实验结果如下：
| 序号 | 方法/模型 | 期刊 | mAP50 | mAP50-95 |
|---|---|---|---|---|
| 1 | CDCFusion | 0.908±0.005 | 0.700±0.002 | |
| 2 | seg | 0.906±0.007 | 0.699±0.017 | |
| 3 | tf | 0.917±0.005 | 0.708±0.007 | |
| 4 | KDFuse | IF 2025 | 0.923±0.002 | 0.706±0.006 |
| 5 | MambaVision | CVPR 2025 | 0.923±0.006 | 0.704±0.005 |
| 6 | Mask-DiFuser | TPAMI 2026 | 0.911±0.004 | 0.708±0.003 |
| 7 | PSTLFusion | PR 2022 | 0.915±0.007 | 0.699±0.003 |
| 8 | U2Fusion | TPAMI 2020 | 0.918±0.007 | 0.710±0.003 |
| 9 | CMADet | TIV 2024 | 0.906±0.004 | 0.685±0.002 |
| 10 | RPFNet | ACM MM 2025 | 0.865±0.008 | 0.659±0.008 |
| 11 | WaveMamba | ICCV 2025 | 0.913±0.010 | 0.706±0.004 |
| 12 | 0.927 | 0.708 |
三、下周计划
下周计划围绕以下几个方面继续推进：
- 查看0.927的模型参数
- 查看是否有其他数据集辅助支撑，如无人机对地，卫星对地
- 融合模块改动，不要做空间注意力这种，起码往小波变换等方向做
- 确认不用r分支直接使用云层真值是否有提升来判断是否继续做该分支改进尝试
- 查看云监督最新论文确认是否合适，嵌入进模型跑一下实验，看是否有类似数据集，重点关注CFCFNet
- 云层对频域的影响，对不同模态取不同频域，或进行不同操作
- visio重画框架图