nvidia/PhysicalAI-Autonomous-Vehicles数据集

根据提供的 Hugging Face 数据集页面内容,以下是对 nvidia/PhysicalAI-Autonomous-Vehicles 数据集的详细解析。该数据集是 NVIDIA 发布的大规模、多传感器自动驾驶数据集,主要用于支持端到端驾驶系统的研究与开发。


📌 数据集概览

  • 发布方:NVIDIA Corporation
  • 总时长 :1,700 小时驾驶数据
  • 片段数量 :306,152 个片段 ,每个片段 20 秒
  • 地理覆盖 :采集自 25 个国家 的 2,500 多座城市(美国占 50%,其余来自 24 个欧盟国家)
  • 总大小 :约 133 TB
  • 许可协议 :需同意 NVIDIA Autonomous Vehicle Dataset License Agreement 方可访问,允许用于自动驾驶相关商业/非商业研究。

🌍 数据多样性

页面提供了详细的环境和交通多样性描述:

  • 交通密度:无车、轻度、中度、重度
  • 道路类型:高速公路、城市道路、住宅区、乡村道路
  • 天气:晴朗、雨天、雪天、雾天
  • 路面状况:干燥、湿滑、积雪/结冰
  • 时段:白天、夜晚
  • 基础设施:隧道、桥梁、环岛、铁路道口、收费站、坡道等

国家分布(按片段计数):

国家 片段数 国家 片段数 国家 片段数
美国 155,360 克罗地亚 4,961 罗马尼亚 2,719
德国 43,900 荷兰 4,932 卢森堡 2,620
法国 10,364 丹麦 4,581 拉脱维亚 2,173
意大利 8,658 斯洛文尼亚 4,301 匈牙利 1,960
瑞典 7,330 爱沙尼亚 4,128 保加利亚 932
西班牙 6,459 斯洛伐克 4,122
葡萄牙 6,101 比利时 3,753
希腊 5,885 捷克 3,662
奥地利 5,451 立陶宛 3,392
芬兰 5,176 波兰 3,232

🛰️ 传感器配置与覆盖

传感器类型 数量 覆盖片段数 说明
摄像头 7 个 306,152(全部) 1080p/30fps,7个视角(前广角120°、前长焦30°、交叉左右120°、后左右70°、后长焦30°)
激光雷达 1 个 298,326 车顶360°旋转式LiDAR,10 Hz,点云经Draco编码
雷达 最多10个 160,761 包括短距(SRR)、中距(MRR)、长距(LRR),分布在车辆四周

此外,数据集还提供:

  • 自运动(ego motion)
  • 传感器标定数据(内参/外参)
  • 自动生成的机器标签(非人工真值)
  • 片段级元数据(便于按需筛选)

📁 文件组织结构

数据按传感器类型分块存储,每个块(chunk)包含约100个片段,以ZIP或Parquet格式提供。

复制代码
├── camera/
│   ├── camera_front_wide_120fov/
│   │   ├── camera_front_wide_120fov.chunk_0000.zip  # 内含 <uuid>.mp4 和帧时间戳.parquet
│   │   └── ...
│   └── camera_cross_left_120fov/ ...
├── lidar/
│   └── lidar_top_360fov/
│       ├── lidar_top_360fov.chunk_0000.zip          # 内含 <uuid>.lidar_top360_fov.parquet
│       └── ...
├── radar/
│   ├── radar_corner_front_left_srr_0/
│   │   ├── radar_corner_front_left_srr_0.chunk_0000.zip
│   │   └── ...
│   └── ...(共10个雷达位置)
├── calibration/
│   ├── camera_intrinsics.offline/                   # 离线优化的内参
│   ├── camera_intrinsics/                            # 原始内参
│   ├── lidar_intrinsics.offline/
│   ├── sensor_extrinsics.offline/
│   ├── sensor_extrinsics/
│   └── vehicle_dimensions/
├── labels/
│   ├── egomotion.offline/
│   ├── egomotion/
│   └── obstacle.offline/
└── metadata/
    ├── data_collection.parquet       # 含国家、月份、时段等过滤字段
    └── feature_presence.parquet       # 每个片段的传感器可用性(原 sensor_presence.parquet)

关键文件格式说明:

  • 摄像头:MP4视频 + 帧时间戳Parquet
  • LiDAR :每个片段一个Parquet,包含多个旋转(spin),点云经Draco压缩 ,需用 DracoPy 解码
  • 雷达:每个片段一个Parquet,包含每次扫描的时间戳、方位角、俯仰角、距离、径向速度、RCS、SNR等
  • 标定:提供传感器在车辆坐标系下的位姿(四元数+位置),相机内参采用f-theta模型
  • 标签 :egomotion 提供车辆自身运动(局部坐标系,原点为0时刻位置,偏航为0,俯仰/滚转相对重力估计);obstacle.offline 为自动生成的障碍物标签

🛠️ 开发工具与生态

NVIDIA 提供了 Python 开发者工具包:

  • GitHub 仓库 :NVlabs/physical_ai_av
  • 安装 :pip install physical_ai_av(需 Python ≥ 3.11)
  • 功能:支持从 Hugging Face 直接下载、数据格式解析、工作流集成

此外,还提供 Cosmos Dataset Search (CDS) 预览体验(需注册),可用于多模态语义搜索。


🚀 应用场景

页面列举了数据集适用的研究领域:

  • 端到端驾驶模型训练
  • 场景挖掘与分析
  • 神经重建(Neural Reconstruction)
  • 合成数据生成
  • 监督微调(Supervised Fine Tuning)
  • 运行时评估
  • 强化学习

NVIDIA 还提供了基于此数据集的工作流示例(如 Alpamayo 开发工作流),支持 NuRec 重建、监督微调和强化学习。


⚖️ 许可与道德考量

  • 许可协议 :必须接受 NVIDIA Autonomous Vehicle Dataset License Agreement,仅允许用于自动驾驶相关开发,禁止逆向工程、重新分发、身份识别、生物特征处理等。
  • 道德声明:NVIDIA 强调可信AI,要求开发者确保其应用符合行业伦理和法律要求,禁止用于非法监控、未经同意的生物信息收集、骚扰等。
  • 隐私保护:数据集已经过匿名化处理,禁止尝试重新识别个体(如车牌、人脸)。若发现未充分匿名化,需立即通知 NVIDIA。

📦 版本历史

  • v26.03(当前):添加了离线优化的特征(egomotion.offline, obstacle.offline, 标定.offline),更新了元数据结构,支持 NuRec、SFT、RL 工作流。
  • v25.10:初始发布。

以上信息均来自您提供的 Hugging Face 数据集页面。如果您需要更详细的字段说明(例如雷达数据的具体列名),可以访问 physical_ai_av 仓库的 Wiki。

相关推荐
航天智算12 分钟前
300 万预算 国产信创遥感 AI 全自动处理生产线配置实战
大数据·人工智能·昇腾·国产算力·算力适配
yangmu320315 分钟前
ReShade + GITC DLSS 5 插件安装与调参指南
人工智能
AI 编程助手GPT22 分钟前
GPT 排的日志时间线差一小时?用 zoneinfo 复现夏令时回拨
人工智能·python·gpt
Thanks_ks42 分钟前
【第 003 讲】全面认识 Python:语言起源与设计哲学 | 行业地位与流行趋势 | 技术优势与应用领域 | 技术边界与工程局限
人工智能·python·数据分析·编程语言·python 入门·web 开发·python 之禅
Dawson Zhu1 小时前
【Runtime推理引擎④】多流并发执行:用Stream+Event让计算与通信重叠
人工智能·语言模型·架构·aigc·agi
qyr67891 小时前
全球卫星遥感服务市场前景研究与行业发展趋势
大数据·人工智能·卫星遥感服务
麻瓜code1 小时前
Spring AI 全模块 API 字典一览(1.1.0 版)
人工智能·windows·spring
Peng25051 小时前
从 0 到持续运行:用 Hermes Agent + Python 搭一个小红书 AI 资讯自动发布系统
人工智能
程序员果子1 小时前
Ontology
大数据·人工智能·智能体·ontology·本体
用户24101505702081 小时前
6岁小朋友一句话,一个dsh智能体,一个deepseek4.1大模型,一款水浒游戏
人工智能