三维投影算法
三维投影算法分为
- 柱面投影
- 球面投影
- 柱面投影+球面投影
- 抛物线投影
柱面投影和球面投影是地图投影、计算机图形学等领域中常用的投影方法,核心是将三维球面(或球体表面)的点映射到二维平面(柱面投影先映射到柱面再展开为平面)。这里我们使用圆柱投影,圆柱分为外壁投影和内壁投影,我们会选择内壁投影来解决问题。
1 外壁投影
适用场景:实际上在做图像拼接的时候需要使用正向外壁投影,公式推导需基于坐标系定义(通常以地心为原点,赤道面为 XY 平面,本初子午线为 X 轴)。我们主要不讲拼接,主要是来做反向图像矫正,所以将内壁投影
2 内壁投影
1 坐标系:
图像上的点:(x, y) (在图像平面 Z = f 上)
相机焦距(或归一化焦距):f
圆柱半径:r
圆柱展开图宽度:W,高度:H
2 映射到圆柱内壁上的 3D 点 (X, Y, Z):
这就是该图像点所对应的圆柱内壁上的三维点
2. 映射到柱面展开图 (u, v) 坐标
水平方向角度:
水平方向图像坐标:

垂直方向(可线性映射,比如基于 Y 或 Z):
困难:
除了计算,有一点我们需要非常清楚,安装的摄像头并不一定是正向安装,我们会看到各种角度的俯仰角,翻滚角,偏航角,也就是摄像头实际安装的样子是不可确定的,在空中有各种姿态,所有又有一下矩阵需要参与计算
绕Y轴旋转(Y 偏航)
1 绕 Y 轴旋转 yawRad 角度(左右转动),旋转矩阵为
cosY 0 sinY
0 1 0
-sinY 0 cosY
绕X 轴旋转(P 俯仰角)
1 0 0
0 cosP sinP
0 -sinP cosP
绕z轴旋转(R 翻滚)
cosR -sinR 0
sinR cosR 0
0 0 1
实际投影
先看一个拼接图像,是经过拼接后的图像,一看挺麻烦的,因为两边的经度已经成为枕形畸变,而上下纬度为桶形畸变,这个鹰眼相机异曲同工,不过还算好一些

界面制作
焦距确定如何拉直纬线,纬线和赤道平行, 俯仰实际就是安装摄像头的往下或者往上看的角度,确定经线的垂直度,翻滚角确定图像是否正对我们还是有偏移旋转。首先改变焦距让图像在纬度上拉直:
应为摄像机安装的时候是斜俯视,我们将俯仰往下拉,让经线完全直立,我们观察两边的篮球架要直立才能达到我们正常观看比赛的目的

使用翻滚角将图像变正,因为本身相机是个拼接相机,可能看到的图像会比较奇怪,中间白线左右有些不对称,我们忽略
偏航
ok 到这里我们看到了正常的直立的图像,问题来了,左右像素缺失,如何做,这时候我们已经深处三维投影中,我们来左右改变偏航来看:
可以看到通过三维偏航我们可以看到完整的图像,已经被直立和矫正,ok,我们再来一个深度的应用
三维偏航AI 跟踪系统
我们使用AI来跟踪球员的密集度和球的位置,来左右偏航,让拼接相机在根本不动的情况下左右自动偏航,让观察者认为我们的系统有云台功能
放大和缩小,抗锯齿功能

矩阵优化,解码编码优化
我们完成了图像上的三维投影,如何做到视频上能够到一秒30帧4K分辨率转化呢,我们的策略是优化矩阵运算,将所有的矩阵合并,将来图像只要一次矩阵运算就完成投影,再进行显卡的优化,图像的解码,矩阵运算,编码运算完全在GPU的显存上运行,不出GPU,编码完了以后再出显存到内存,使用rtsp协议直接建立自身服务,不推流,这样极大减小了消耗,部署上也更加方便。
在运算基础上,我们还可以在进行各种图像处理运算,优化到视频的一秒30帧左右。

其他矫正
其他矫正还有很多,例如球面和抛物线矫正,下次我们再将更多的算法,例如鱼眼图像的矫正,鹰眼图像,隧道图像,仓库,这些都需要矫正成正常的图像去观察,我们放到其他的文章里面介绍