无监督跨域目标检测的语义一致性知识转移

Semantic consistency knowledge transfer for unsupervised cross domain object detection

无监督跨域目标检测的语义一致性知识转移

· 作者: Zichong Chen, Ziying Xia, Xiaochen Li, Junhao Shi, Nyima Tashi, Jian Cheng

· 所属机构: 电子科技大学信息与通信工程学院,西藏大学信息科学与技术学院

· 关键词: 域适应、目标检测、图像校正、语义一致性

· 时间:2024年8月13日

研究背景:

1. 无监督跨域目标检测: 当源域和目标域数据分布不一致时,无监督跨域目标检测通过无需额外标注信息的方式提升检测器性能。

2. 现有方法的不足: 现有方法忽略了图像间的语义一致性,导致特征学习中知识转移不正确,降低了自适应性能。

3. 本文方法: 提出了一种名为语义一致性知识转移(Semantic Consistency Knowledge Transfer, SCKT)的方法,专注于相似语义信息,实现细粒度对应尺度域自适应。

研究方法:

1. 多通道自适应校正(MAC)模块: 用于图像增强,缓解像素失真,保持语义一致性。

2. 相关知识挖掘(RKM)模块: 包括特征相关学习(FCL)和一致性知识学习(CKL),利用生成的语义一致性特征捕获不同级别的图像细节和语义信息,实现多级别对应域对齐。

3. 训练与推理: SCKT框架不依赖特定网络结构,不降低推理速度,适用于不同目标检测器。

实验设计:

1. 数据集与场景: 在多个数据集和场景上进行实验,包括Cityscapes→FoggyCityscapes、Cityscapes→BDD 100K(Rainy)、KITTI→Cityscapes、PASCAL VOC→Clipart。

2. 实现细节: 使用YOLO系列检测器作为基线方法,初始化网络使用预训练权重,所有超参数遵循默认设置。

3. 与最先进方法的比较: 与多种现有方法进行比较,验证SCKT的有效性。

结果分析:

1. Cityscapes→FoggyCityscapes: SCKT在雾天条件下达到47.9%mAP,超过所有最先进方法。

2. Cityscapes→BDD 100K(Rainy): SCKT在雨天条件下达到64.6%mAP,显著提高跨域目标检测性能。

3. KITTI→Cityscapes: SCKT在跨摄像头场景下达到最佳Car AP,有效解决跨摄像头引起的域偏移问题。

4. PASCAL VOC→Clipart: SCKT在现实到艺术风格的场景中,mAP提高7.7%,超过最佳弱监督方法。

5. 效率研究与局限讨论: SCKT在保持推理速度的同时,实现了准确率和速度的平衡。






总体结论:

1. SCKT框架: 通过语义一致性知识转移,有效解决了无监督跨域目标检测中的域偏移问题。

2. 实验验证: SCKT在多个域迁移场景中展现出最优性能,尤其在PASCAL VOC→Clipart场景中,mAP提高54.6%。

相关推荐
GengMS_DEV11 分钟前
使用开源kkfileview实现电子档案文件的万能预览/水印等功能
人工智能
纪伊路上盛名在37 分钟前
(鱼书)深度学习入门1:python入门
人工智能·python·深度学习
Shuai@40 分钟前
VILA-M3: Enhancing Vision-Language Models with Medical Expert Knowledge
人工智能·语言模型·自然语言处理
动亦定42 分钟前
AI与物联网(IoT)的融合
人工智能·物联网
咸鱼鲸1 小时前
【PyTorch】PyTorch中数据准备工作(AI生成)
人工智能·pytorch·python
停走的风1 小时前
二刷(李宏毅深度学习,醍醐灌顶,长刷长爽)
人工智能·深度学习
qinyia1 小时前
Wisdom SSH:探索AI助手在复杂运维任务中的卓越表现
运维·人工智能·ssh
TY-20251 小时前
二、深度学习——损失函数
人工智能·深度学习
京东零售技术1 小时前
让大模型更懂你,京东零售的算法工程师做了这些事
人工智能·求职
PyAIExplorer1 小时前
图像梯度处理与边缘检测:OpenCV 实战指南
人工智能·opencv·计算机视觉