【BEV】3D视觉 PRELIMINARY

这里的知识来自于论文 Delving into the Devils of Bird's-eye-view Perception: A Review, Evaluation and Recipe 的 Appendix B.1

部分来自 这篇文章

从透视图转向鸟瞰图。(Xw、Yw、Zw)、(Xc、Yc、Zc)表示世界World坐标和相机Camera坐标, ( X i 、 Y i ) (X_i、Y_i) (Xi、Yi)、(U、V)表示图像坐标和像素坐标。由于图像坐标系和像素坐标系处于同一平面,故两者之间的差异在于坐标原点的位置和单位。像素坐标系的原点在图像坐标系的左上角,同时像素坐标系的单位为像素。

故两个坐标系之间的变换满足
u = x d x + u 0 , v = y d y + v 0 u=\frac{x}{d_x}+u_0,v=\frac{y}{d_y}+v_0 u=dxx+u0,v=dyy+v0

dx,dy表示像素坐标系中每个像素点的宽和高 ,而图像坐标系原点在像素坐标系中的横纵坐标分别为 u 0 , v 0 u_0, v_0 u0,v0。

从BEV平面上升起一根柱子。P代表柱子上的3D点, P ′ P^{'} P′代表P相应在相机视角上的投影点。

P, P ′ P^{'} P′分别对应于柱上的三维点和摄像机视图上投影的2D点。

给定P的世界坐标和相机的内在参数和外在参数,可以得到 P ′ P^{'} P′的像素坐标。

显式BEV特征构造通常需要基于三维到二维投影对局部图像视图特征进行索引。上图显示BEVFormer的视角转换。一根柱子从BEV平面升起,柱子内的一个三维点被投影到相机视图上。

投影过程涉及到世界World、相机Camera、图像Image和像素Pixel坐标系之间的转换。

从世界坐标到相机坐标的转换是一种刚性变换,只需要平移和旋转(更详细的可以看上面的博客)。

设 P w = [ x w 、 y w 、 z w , 1 ] 、 P c = [ x c 、 y c 、 z c , 1 ] P_w = [x_w、y_w、z_w,1]、P_c = [x_c、y_c、z_c,1] Pw=[xw、yw、zw,1]、Pc=[xc、yc、zc,1]分别为一个三维点P在世界坐标和相机坐标中的同质表示。它们之间的关系可以描述如下:
R,T分别表示旋转矩阵和平移矩阵。

相关推荐
做cv的小昊4 小时前
结合代码读3DGS论文(12)——NeurIPS 2024 Spotlight 3DGS经典Backbone工作3DGS-MCMC论文及代码解读
论文阅读·计算机视觉·3d·图形渲染·游戏开发·计算机图形学·3dgs
云飞云共享云桌面5 小时前
SolidWorks三维设计不用单独买电脑,1台服务器10个设计用
运维·服务器·数据库·3d·电脑
syncon128 小时前
手机液晶显示屏薄膜电路开路短路检测及液晶线路激光修复原理
科技·3d·制造
地平线开发者1 天前
智能驾驶感知算法的演进
算法·自动驾驶
2401_863801461 天前
如何在Blender中压缩/缩小3D模型的尺寸GLB、GLTF、DAE、FBX、OBJ......
3d·blender
2401_863801461 天前
制作转换3Dtiles时候cesium(b3dm)模型没有阴影,没有材质感,发白显示太假怎么办
3d·arcgis·材质·3dtiles
CG_MAGIC1 天前
3ds Max 多边形编辑:室内构件精细化建模
3d·贴图·建模教程·渲云渲染
njsgcs1 天前
ai工业建模需要理解两个3d模型之间的区别,把从一个变成另一个需要什么神经网络
人工智能·神经网络·3d
fzb5QsS1p2 天前
机器视觉如何赋予机器“三维双眼”——3D重建技术全景指南
3d
sin°θ_陈2 天前
前馈式3D Gaussian Splatting 研究地图(路线四):无位姿、无标定、弱约束:前馈式 3DGS 的真实世界转向
3d