自动驾驶感知范式迁移:从BEV/向量化到高斯建模

从BEV到向量化到高斯建模

  • [1 基于信息提炼/压缩的方法](#1 基于信息提炼/压缩的方法)
    • [1.1 BEV方案](#1.1 BEV方案)
    • [1.2 向量化方案](#1.2 向量化方案)
  • [2 基于重建/拟合的方法](#2 基于重建/拟合的方法)

1 基于信息提炼/压缩的方法

1.1 BEV方案

  • 核心思想: 建立一个统一的、上帝视角的二维网格(BEV Grid),作为多传感器信息和下游任务的"中央总线"。

  • 信息处理方式:

    • 提炼 (Distill): 使用图像编码器(如ResNet, ViT)从多视角2D图像中提取出大量的特征,这就像从原材料中"榨取"精华。
    • 转换与填充 (Transform & Fill): 通过一个精巧的"视图转换"模块(View Transformer),将这些2D特征"投射"并"填充"到预先定义好的BEV网格的每一个单元格中。这个过程就像是把榨好的果汁,小心翼翼地倒入一个有固定格子形状的冰格模具里。
  • 本质: 最终的BEV特征图是一个对世界的高度抽象和总结。关心在哪个BEV格子里应该填入什么样的特征值。信息被"提炼"并被"格式化"到了这个BEV网格里。

  • 代表方案:BEVFormer,UniAD

1.2 向量化方案

  • 核心思想: 不再试图填充一个完整的网格,而是使用一组可学习的、稀疏的"查询向量"(Object Queries)作为"探针",主动去图像中寻找并"提炼"与特定物体相关的信息。

  • 信息处理方式:

    • 初始化探针: 随机初始化一组(例如100个)查询向量。每个向量可以看作是一个"我想找到一个物体"的意图。
    • 提炼与查询 (Distill & Query): 这些查询向量通过交叉注意力机制(Cross-Attention)与图像特征进行交互。它们学习如何定位到图像中的特定区域(比如车辆、行人),并从这些区域中"吸取"和"提炼"出有用的信息(位置、类别、朝向等)。这就像是派出100个训练有素的侦察兵,让他们去战场(图像特征)上各自寻找目标并带回情报。
  • 本质: 这是一种更有针对性的提炼。它同样不关心重建整个世界,而是只提炼出"我感兴趣的N个物体"的信息。最终得到的是一组包含了物体信息的向量,而不是一个完整的场景地图。

  • 代表方案:DETR3D,PETR

2 基于重建/拟合的方法

  • 核心思想: 不去抽象信息,而是尝试用一组带有丰富属性的、可微的、显式的3D基元(即3D高斯体)去直接模拟和重建整个三维世界。

  • 信息处理方式:

    • 初始化基元: 在3D空间中"撒"上一批初始的3D高斯体。它们一开始可能杂乱无章。
    • 迭代拟合 (Iterative Fitting): 这是核心。模型进入一个优化循环:
    • 渲染: 将当前的3D高斯体集合通过可微渲染器,"画"出从各个相机角度看到的2D图像。
    • 比较: 将渲染出的图像与真实的输入图像进行比较,计算它们之间的差异(例如L1损失、SSIM损失)。
    • 优化/调整: 根据这个差异,反向传播梯度,去微调每一个3D高斯体的所有参数(位置、形状、旋转、颜色、不透明度、语义特征等),目标是让渲染出来的图像与真实图像无限接近。
  • 本质: 这个过程就像一个艺术家在用无数个可塑形的、可变色的"智能粘土球"(高斯体)来雕刻一个与现实一模一样的模型。艺术家不断地对照着真实场景(输入图像),调整每一个粘土球的位置、形状和颜色,直到他的雕塑在任何角度看都跟真的一样。这个过程就是拟合------用模型(高斯体集合)去逼近真实数据(图像)。

相关推荐
鬼手点金1 分钟前
如何选择模型
java·前端·人工智能·git·深度学习
xrgs_shz1 分钟前
基于OGD-Net的果园环境下蟠桃生长期检测
人工智能·yolo·目标检测·计算机视觉
我叫孙一鸣-专注电子元器件5 分钟前
快反镜的镜面偏转角,为什么不等于光束偏转角?
人工智能·智能硬件·半导体·压电驱动器
古法老登瞎折腾8 分钟前
大数据智能运维实战(三):实现第一个运维 MCP 工具——查询节点与组件状态
java·大数据·运维·人工智能·spring ai·mcp
SEO_juper11 分钟前
手写 llms.txt 验证器:让 AI 更愿意引用你的网站(GEO)
开发语言·人工智能·python·聚类·seo·独立站
lucas_AI16 分钟前
AI 审查员把 PostgreSQL 19 拖延期了?committer 拆完 12 个撤回,故事没那么简单
人工智能
阡陌数智18 分钟前
Anthropic Claude Fable 5.1 长周期 Agent 原生架构解析:工具调用链路稳定性与 API 聚合平台落地实战
人工智能·语言模型·自然语言处理·架构·推荐算法
IT_陈寒18 分钟前
Vue开发实战:从入门到精通
前端·人工智能·后端
TK泰妞18 分钟前
AI 带货视频工具怎么选?电商短视频创作者的实用评估指南
人工智能·音视频
lucas_AI19 分钟前
Muon 到底什么时候赢?等 token 全胜、等时间翻车:换优化器前先算的三本账
机器学习