nvidia/PhysicalAI-Autonomous-Vehicles数据集

根据提供的 Hugging Face 数据集页面内容,以下是对 nvidia/PhysicalAI-Autonomous-Vehicles 数据集的详细解析。该数据集是 NVIDIA 发布的大规模、多传感器自动驾驶数据集,主要用于支持端到端驾驶系统的研究与开发。


📌 数据集概览

  • 发布方:NVIDIA Corporation
  • 总时长 :1,700 小时驾驶数据
  • 片段数量 :306,152 个片段 ,每个片段 20 秒
  • 地理覆盖 :采集自 25 个国家 的 2,500 多座城市(美国占 50%,其余来自 24 个欧盟国家)
  • 总大小 :约 133 TB
  • 许可协议 :需同意 NVIDIA Autonomous Vehicle Dataset License Agreement 方可访问,允许用于自动驾驶相关商业/非商业研究。

🌍 数据多样性

页面提供了详细的环境和交通多样性描述:

  • 交通密度:无车、轻度、中度、重度
  • 道路类型:高速公路、城市道路、住宅区、乡村道路
  • 天气:晴朗、雨天、雪天、雾天
  • 路面状况:干燥、湿滑、积雪/结冰
  • 时段:白天、夜晚
  • 基础设施:隧道、桥梁、环岛、铁路道口、收费站、坡道等

国家分布(按片段计数):

国家 片段数 国家 片段数 国家 片段数
美国 155,360 克罗地亚 4,961 罗马尼亚 2,719
德国 43,900 荷兰 4,932 卢森堡 2,620
法国 10,364 丹麦 4,581 拉脱维亚 2,173
意大利 8,658 斯洛文尼亚 4,301 匈牙利 1,960
瑞典 7,330 爱沙尼亚 4,128 保加利亚 932
西班牙 6,459 斯洛伐克 4,122
葡萄牙 6,101 比利时 3,753
希腊 5,885 捷克 3,662
奥地利 5,451 立陶宛 3,392
芬兰 5,176 波兰 3,232

🛰️ 传感器配置与覆盖

传感器类型 数量 覆盖片段数 说明
摄像头 7 个 306,152(全部) 1080p/30fps,7个视角(前广角120°、前长焦30°、交叉左右120°、后左右70°、后长焦30°)
激光雷达 1 个 298,326 车顶360°旋转式LiDAR,10 Hz,点云经Draco编码
雷达 最多10个 160,761 包括短距(SRR)、中距(MRR)、长距(LRR),分布在车辆四周

此外,数据集还提供:

  • 自运动(ego motion)
  • 传感器标定数据(内参/外参)
  • 自动生成的机器标签(非人工真值)
  • 片段级元数据(便于按需筛选)

📁 文件组织结构

数据按传感器类型分块存储,每个块(chunk)包含约100个片段,以ZIP或Parquet格式提供。

复制代码
├── camera/
│   ├── camera_front_wide_120fov/
│   │   ├── camera_front_wide_120fov.chunk_0000.zip  # 内含 <uuid>.mp4 和帧时间戳.parquet
│   │   └── ...
│   └── camera_cross_left_120fov/ ...
├── lidar/
│   └── lidar_top_360fov/
│       ├── lidar_top_360fov.chunk_0000.zip          # 内含 <uuid>.lidar_top360_fov.parquet
│       └── ...
├── radar/
│   ├── radar_corner_front_left_srr_0/
│   │   ├── radar_corner_front_left_srr_0.chunk_0000.zip
│   │   └── ...
│   └── ...(共10个雷达位置)
├── calibration/
│   ├── camera_intrinsics.offline/                   # 离线优化的内参
│   ├── camera_intrinsics/                            # 原始内参
│   ├── lidar_intrinsics.offline/
│   ├── sensor_extrinsics.offline/
│   ├── sensor_extrinsics/
│   └── vehicle_dimensions/
├── labels/
│   ├── egomotion.offline/
│   ├── egomotion/
│   └── obstacle.offline/
└── metadata/
    ├── data_collection.parquet       # 含国家、月份、时段等过滤字段
    └── feature_presence.parquet       # 每个片段的传感器可用性(原 sensor_presence.parquet)

关键文件格式说明:

  • 摄像头:MP4视频 + 帧时间戳Parquet
  • LiDAR :每个片段一个Parquet,包含多个旋转(spin),点云经Draco压缩 ,需用 DracoPy 解码
  • 雷达:每个片段一个Parquet,包含每次扫描的时间戳、方位角、俯仰角、距离、径向速度、RCS、SNR等
  • 标定:提供传感器在车辆坐标系下的位姿(四元数+位置),相机内参采用f-theta模型
  • 标签 :egomotion 提供车辆自身运动(局部坐标系,原点为0时刻位置,偏航为0,俯仰/滚转相对重力估计);obstacle.offline 为自动生成的障碍物标签

🛠️ 开发工具与生态

NVIDIA 提供了 Python 开发者工具包:

  • GitHub 仓库 :NVlabs/physical_ai_av
  • 安装 :pip install physical_ai_av(需 Python ≥ 3.11)
  • 功能:支持从 Hugging Face 直接下载、数据格式解析、工作流集成

此外,还提供 Cosmos Dataset Search (CDS) 预览体验(需注册),可用于多模态语义搜索。


🚀 应用场景

页面列举了数据集适用的研究领域:

  • 端到端驾驶模型训练
  • 场景挖掘与分析
  • 神经重建(Neural Reconstruction)
  • 合成数据生成
  • 监督微调(Supervised Fine Tuning)
  • 运行时评估
  • 强化学习

NVIDIA 还提供了基于此数据集的工作流示例(如 Alpamayo 开发工作流),支持 NuRec 重建、监督微调和强化学习。


⚖️ 许可与道德考量

  • 许可协议 :必须接受 NVIDIA Autonomous Vehicle Dataset License Agreement,仅允许用于自动驾驶相关开发,禁止逆向工程、重新分发、身份识别、生物特征处理等。
  • 道德声明:NVIDIA 强调可信AI,要求开发者确保其应用符合行业伦理和法律要求,禁止用于非法监控、未经同意的生物信息收集、骚扰等。
  • 隐私保护:数据集已经过匿名化处理,禁止尝试重新识别个体(如车牌、人脸)。若发现未充分匿名化,需立即通知 NVIDIA。

📦 版本历史

  • v26.03(当前):添加了离线优化的特征(egomotion.offline, obstacle.offline, 标定.offline),更新了元数据结构,支持 NuRec、SFT、RL 工作流。
  • v25.10:初始发布。

以上信息均来自您提供的 Hugging Face 数据集页面。如果您需要更详细的字段说明(例如雷达数据的具体列名),可以访问 physical_ai_av 仓库的 Wiki。

相关推荐
烟雨江南7851 小时前
灵声智库-招投标会议语音识别怎么做?实时转写、多人发言与会议留痕方案
人工智能·音视频·语音识别·ai客服
李福春1 小时前
斗破Google ADK Java苍穹-第7境斗皇-御天地-Harness治理
java·人工智能·python·深圳同盟·腾讯云架构师技术同盟·adk java·harness 治理
看浪的路人1 小时前
第1讲:2026 大模型应用开发全景——Prompt / RAG / 微调 / Agent 到底先用哪个
人工智能·算法
wjkjpcba1 小时前
机器人控制板PCBA贴片厂家制造工艺解析:SMT贴片、DIP插件与检测流程
人工智能·机器人·smt贴片加工·pcba贴片加工厂
星核0penstarry1 小时前
企业接入多家 AI API,聚合平台能解决什么、不能解决什么
人工智能·大模型·ai编程·合规·api聚合平台·大模型网关·接入层
IT_陈寒1 小时前
为什么我的Vue组件总是莫名其妙更新?
前端·人工智能·后端
aneasystone本尊1 小时前
学习大模型训练的数据:从互联网到高质量语料
人工智能
鱼宵1 小时前
LangChain4j RAG 流水线:手写问答全流程,给 AI 开卷考试
大数据·人工智能·机器学习·langchain4j
HIT_Weston1 小时前
247、【AI】【模型部署】基座模型研究:RoPE 用在前向还是反向——训练、推理与 KV cache
人工智能
m4Rk_1 小时前
【论文阅读】Agent 记忆机制(97):MCMA——让 Agent 学会如何抽象记忆,实现跨任务经验迁移
论文阅读·人工智能·学习·开源·github