无监督跨域目标检测的语义一致性知识转移

Semantic consistency knowledge transfer for unsupervised cross domain object detection

· 作者: Zichong Chen, Ziying Xia, Xiaochen Li, Junhao Shi, Nyima Tashi, Jian Cheng

· 所属机构: 电子科技大学信息与通信工程学院，西藏大学信息科学与技术学院

· 关键词: 域适应、目标检测、图像校正、语义一致性

· 时间：2024年8月13日

1. 无监督跨域目标检测：当源域和目标域数据分布不一致时，无监督跨域目标检测通过无需额外标注信息的方式提升检测器性能。

2. 现有方法的不足：现有方法忽略了图像间的语义一致性，导致特征学习中知识转移不正确，降低了自适应性能。

3. 本文方法：提出了一种名为语义一致性知识转移（Semantic Consistency Knowledge Transfer, SCKT）的方法，专注于相似语义信息，实现细粒度对应尺度域自适应。

1. 多通道自适应校正（MAC）模块：用于图像增强，缓解像素失真，保持语义一致性。

2. 相关知识挖掘（RKM）模块：包括特征相关学习（FCL）和一致性知识学习（CKL），利用生成的语义一致性特征捕获不同级别的图像细节和语义信息，实现多级别对应域对齐。

3. 训练与推理： SCKT框架不依赖特定网络结构，不降低推理速度，适用于不同目标检测器。

1. 数据集与场景：在多个数据集和场景上进行实验，包括Cityscapes→FoggyCityscapes、Cityscapes→BDD 100K(Rainy)、KITTI→Cityscapes、PASCAL VOC→Clipart。

2. 实现细节：使用YOLO系列检测器作为基线方法，初始化网络使用预训练权重，所有超参数遵循默认设置。

3. 与最先进方法的比较：与多种现有方法进行比较，验证SCKT的有效性。

1. Cityscapes→FoggyCityscapes： SCKT在雾天条件下达到47.9%mAP，超过所有最先进方法。

2. Cityscapes→BDD 100K(Rainy)： SCKT在雨天条件下达到64.6%mAP，显著提高跨域目标检测性能。

3. KITTI→Cityscapes： SCKT在跨摄像头场景下达到最佳Car AP，有效解决跨摄像头引起的域偏移问题。

4. PASCAL VOC→Clipart： SCKT在现实到艺术风格的场景中，mAP提高7.7%，超过最佳弱监督方法。

5. 效率研究与局限讨论： SCKT在保持推理速度的同时，实现了准确率和速度的平衡。

1. SCKT框架：通过语义一致性知识转移，有效解决了无监督跨域目标检测中的域偏移问题。

2. 实验验证： SCKT在多个域迁移场景中展现出最优性能，尤其在PASCAL VOC→Clipart场景中，mAP提高54.6%。