ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes 数据集构建

paper link: paperlink

Abstract: 这个数据集是个RGB-D视频数据集,在707个不同空间中获取了1513个扫描的场景,250w个视图,并且标注了相机位姿,表面重建,语义分割。本数据集共有20人扫描+500名工作者进行标注。

数据集获取框架

硬件设备: 使用Structure Sensor + ipad Air 2 进行收集,RGB 1296*968, Depth 640*480,默认启用白平衡+自动曝光。

相机校准:可以使用Srructure Sensor的Calibrate 软件进行校准。得到深度相机和彩色相机的关系。

用户界面:创建了ScannerApp进行数据集的采集,(但目前已经很久没更新了,sdk里有些类已经弃用了)

存储:128GB可以存储数小时的拍摄场景,用户可以随时点击"上传"按钮将扫描数据上传到处理服务器。

表面重建: BundleFusion 进行重建,1cm的 voxel resolution,VoxelHashing( 通过 VoxelHashing 实现体素融合 (Volumetric Integration)),marching cubes 在分辨率为4mm *4mm *4mm的voxel下进行高分辨率网格提取。对网格进行自动清理和简化(合并距离较近的顶点,删除重复的网格面和孤立的网格部分,对网格进行多分辨率的下采样,生成高中低分辨率的网格模型)

  • 使用 BundleFusion 计算每帧扫描数据的位姿。
  • 使用 VoxelHashing 构建 TSDF 表达的全局稠密体素网格。
  • 使用 Marching Cubes 提取高分辨率的三角网格。
  • 对网格进行清理、去噪和下采样,生成高、中、低分辨率的版本。

方向:自动将所有相机姿态对齐到一个共同的坐标系中,Z轴向上向量,xy平面和地面对齐。

验证:会自动丢弃较短、残差重建误差较大或对齐帧百分比较低的扫描序列。然后,也会手动检查并丢弃存在明显错位的重建。

准备复现一下,上述的效果,如果效果好,我再继续写

Semantic Annotation

总包。。待续

相关推荐
段一凡-华北理工大学4 小时前
高炉炼铁机器视觉与智能识别十八讲~系列文章06:铁口与出铁场:出铁状态识别与渣铁分离判断
人工智能·数码相机·计算机视觉·高炉出铁识别·高炉渣铁分离·高炉铁口识别
黑妹天下第一乖6 小时前
第 12 讲:阿加犀 AidLux 部署与量产——把端侧 AI 应用做成 7×24 产品
人工智能·嵌入式硬件·数码相机·接口隔离原则·iot
高升说8 小时前
BEV环视硬件搭建全解析:机位、视场、链路与同步的工程方法
人工智能·数码相机
黑妹天下第一乖10 小时前
第 10 讲:阿加犀 AidVoice 端侧语音交互与语音识别实战
图像处理·人工智能·数码相机·opencv·交互·语音识别·xcode
黑妹天下第一乖1 天前
第 05 讲:阿加犀 AidCV 图像处理加速与 OpenCV 一致开发实战
开发语言·图像处理·人工智能·嵌入式硬件·数码相机·opencv·计算机视觉
黑妹天下第一乖1 天前
第08讲 · 视觉与相机流水:Spectra ISP 与实时检测
人工智能·嵌入式硬件·数码相机·机器人·接口隔离原则·iot
Mark White2 天前
ICCV 2019【从颜色科学到相机】02_颜色从哪里来?从光谱、同色异谱到 CIE XYZ
数码相机
hahaha60163 天前
色彩恒常性概述
人工智能·嵌入式硬件·数码相机·计算机视觉
hahaha60163 天前
白平衡综述
数码相机
shoufeipin90hou3 天前
4K 线扫相机的行频匹配:带速一变,图像为什么会变形
数码相机·计算机视觉