3DRealCar: An In-the-wild RGB-D Car Dataset with 360-degree Views

3DRealCar:An In-the-wild RGB-D Car Dataset with 360-degree Views

Du, Xiaobiao and Sun, Haiyang and Wang, Shuyun and Wu, Zhuojie and Sheng, Hongwei and Ying

来自很多单位,其中企业所在单位是Li Auto

项目地址: https://xiaobiaodu.github.io/3drealcar/

git code: https://github.com/xiaobiaodu/3DRealCar_Dataset
本文主要是介绍自己的数据集,大概一共有2500辆车的图像,每辆车平均200张图,来自不同的角度拍摄的清晰图,这个数据集,可以用来做很多事情,比如给2d检测做数据扩充,给3d重建、3d场景生成,3d特殊场景模拟等提供数据。该数据是至今为止最大的数据集了吧,别的公开数据集都很少数量,或者质量不高。同时作者通过实验验证了数据的作用。

实验验证的流程如下:

1. framework

从图中可以看到用到的模块很多,其中包括Grounding dino + SAM完成bg, fg的分割, Colmap生成 point clouds,而后基于3dgs生成 3d cars

代码里只有前面数据预处理部分,3DGS部分不包含,需要自己搭建。即只包含以下部分

2.和street gaussian对比分析

和 Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting,也是来自Li auto的工作,是zju和Li auto一起合作的工作,两者其实区别蛮多的,

共同点:

都是用3d gaussian对物体进行建模的; 都是对adas场景进行处理; 都用到了额外的point cloud而不是只有SFM产生的。

不同点:

street gaussian是场景下建模,是减去背景后留下前景,背景用一种建模方式球谐函数介绍 (Spherical Harmonics),前景用一种建模方式 dynamic spherical harmonics model 动态球谐函数介绍 (Spherical Harmonics)。因此,这个过程中有前景有背景。对背景进行了建模,也对前景进行了建模。结果比较模糊,好像没办法把单独某个目标拿出来?这种方式是场景重建,但是不能对单个目标拿出来放到别的地方使用,或者是不知道怎么用?

3drealdata更适合对前景目标建模。同一个目标图像更丰富,结果更加清晰,可以旋转大角度,这种方式生成的数据可以把车辆放到任何位置或者任意pose下使用。3d real data使用的是标准的gaussian splatting,当然目的也只是为了验证数据的有效性,不是验证算法,而street gaussian 是做了改进。