自动驾驶高效预训练--降低落地成本的新思路(AD-PT)

自动驾驶高效预训练--降低落地成本的新思路

  • [1. 之前的方法](#1. 之前的方法)
  • [2. 主要工作------面向自动驾驶的点云预训练](#2. 主要工作——面向自动驾驶的点云预训练)
    • [2.1. 数据准备](#2.1. 数据准备)

出发点:通过预训练的方式,可以利用大量无标注数据进一步提升3D检测

1. 之前的方法

1.基于对比学习的方法------利用关联帧信息构建正样本对

  • 利用不同视角对应的点作为positive pairs:将视角进行一些变换,然后将关联的点作为正样本对,将不相关的点作为负样本对
    • Pointcontrast:Unsupervised pre-training for 3d point cloud understanding (ECCV 2020)
    • Exploring Geometry-aware Contrast and Clustering Harmonization for
      Self-supervised 3D Object Detection (ICCV 2021)
    • ProposalContrast: Unsupervised Pre-training for LiDAR-based 3D Object Detection
  • 利用时序上对应的点作为positive pairs:
    • Spatio-temporal Self-Supervised Representation Learning for 3D Point Clouds(ICCV 2021)
  • 利用不同物体(infrastructure 和 vehicle)上的点作为pairs:
    • CO3: Cooperative Unsupervised 3D Representation Learning for Autonomous Driving(ICLR 2023)

2.基于MAE的方法

  • Voxel上:
    • Voxel-MAE - Masked Autoencoders for Self-Supervised Learning on Automotive Point Clouds
  • BEV上
    • BEV-MAE: Bird's Eye View Masked Autoencoders for Outdoor Point Cloud Pre-training
  • Hierarchicald空间 :
    • GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds (CVPR 2023)

之前工作的缺点:

  • 预训练和finetune是在同一批数据,只不过分上下游;当不一致的时候微调效果一般

所以设想希望:

  • 预训练一个通用的骨干网络,可以接下游很多任务
  • 在增加预训练数据量的时候,下游finetune效果的变得更好

2. 主要工作------面向自动驾驶的点云预训练

预训练分为两块:

  • 数据处理&准备:
    • 伪标签生成器:对未标注处理(Once数据集待标注是无标注的0.5%)
  • voxel预训练,然后在SECOND、CenterPoint、PV-RCNN上加载

2.1. 数据准备

  • 1\]类别注意的伪标签生成 ![在这里插入图片描述](https://file.jishuzhan.net/article/1723006664820396033/46c4049368000c7dab56689e73e19f75.webp)

    • 1.上/下采样:将点云投影到图像上,将图像作为中间过程,对点云进行上/下采样
    • 2.目标尺度缩放:对Bbox进行re-scale
  • 在大规模预训练后,在NuScenes数据集上的表现比较差,主要因为类别的不一致性,同时,在继续训练时会抑制预训练的类别激活

  • Ped和Cyclist在自动驾驶场景一般检测比较差,标注比较少;在未标注的数据上接近每帧2个label没标注,可以利用上(如下图)

  • 对于未标注图片前景物体的判断:采用两路head,分别预测

    • 当两路分支的结果分别高于一定的阈值,并且俩路定位距离比较近,判断为前景
    • 加入Consistency loss
相关推荐
美狐美颜sdk1 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程1 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
郭庆汝1 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python
小雷FansUnion3 小时前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp
资讯分享周3 小时前
扣子空间PPT生产力升级:AI智能生成与多模态创作新时代
人工智能·powerpoint
叶子爱分享5 小时前
计算机视觉与图像处理的关系
图像处理·人工智能·计算机视觉
鱼摆摆拜拜5 小时前
第 3 章:神经网络如何学习
人工智能·神经网络·学习
一只鹿鹿鹿5 小时前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程
张较瘦_5 小时前
[论文阅读] 人工智能 | 深度学习系统崩溃恢复新方案:DaiFu框架的原位修复技术
论文阅读·人工智能·深度学习
cver1235 小时前
野生动物检测数据集介绍-5,138张图片 野生动物保护监测 智能狩猎相机系统 生态研究与调查
人工智能·pytorch·深度学习·目标检测·计算机视觉·目标跟踪