基于三维反投影矫正拼接视频

三维投影算法

三维投影算法分为

  1. 柱面投影
  2. 球面投影
  3. 柱面投影+球面投影
  4. 抛物线投影

柱面投影和球面投影是地图投影、计算机图形学等领域中常用的投影方法,核心是将三维球面(或球体表面)的点映射到二维平面(柱面投影先映射到柱面再展开为平面)。这里我们使用圆柱投影,圆柱分为外壁投影和内壁投影,我们会选择内壁投影来解决问题。

1 外壁投影

适用场景:实际上在做图像拼接的时候需要使用正向外壁投影,公式推导需基于坐标系定义(通常以地心为原点,赤道面为 XY 平面,本初子午线为 X 轴)。我们主要不讲拼接,主要是来做反向图像矫正,所以将内壁投影

2 内壁投影

1 坐标系:

图像上的点:​​(x, y)​​ (在图像平面 Z = f 上)

相机焦距(或归一化焦距):​f​

圆柱半径:​r​

圆柱展开图宽度:​W,高度:​H

2 映射到圆柱内壁上的 3D 点 (X, Y, Z)​​:

这就是该图像点所对应的圆柱内壁上的三维点

2. ​映射到柱面展开图 (u, v) 坐标

水平方向角度:

水平方向图像坐标:

垂直方向(可线性映射,比如基于 Y 或 Z):

困难:

除了计算,有一点我们需要非常清楚,安装的摄像头并不一定是正向安装,我们会看到各种角度的俯仰角,翻滚角,偏航角,也就是摄像头实际安装的样子是不可确定的,在空中有各种姿态,所有又有一下矩阵需要参与计算

绕Y轴旋转(Y 偏航)

1 绕 Y 轴旋转 yawRad 角度(左右转动),旋转矩阵为

cosY 0 sinY

0 1 0

-sinY 0 cosY

绕X 轴旋转(P 俯仰角)

1 0 0

0 cosP sinP

0 -sinP cosP

绕z轴旋转(R 翻滚)

cosR -sinR 0

sinR cosR 0

0 0 1

实际投影

先看一个拼接图像,是经过拼接后的图像,一看挺麻烦的,因为两边的经度已经成为枕形畸变,而上下纬度为桶形畸变,这个鹰眼相机异曲同工,不过还算好一些

界面制作

焦距确定如何拉直纬线,纬线和赤道平行, 俯仰实际就是安装摄像头的往下或者往上看的角度,确定经线的垂直度,翻滚角确定图像是否正对我们还是有偏移旋转。首先改变焦距让图像在纬度上拉直:

应为摄像机安装的时候是斜俯视,我们将俯仰往下拉,让经线完全直立,我们观察两边的篮球架要直立才能达到我们正常观看比赛的目的

使用翻滚角将图像变正,因为本身相机是个拼接相机,可能看到的图像会比较奇怪,中间白线左右有些不对称,我们忽略

偏航

ok 到这里我们看到了正常的直立的图像,问题来了,左右像素缺失,如何做,这时候我们已经深处三维投影中,我们来左右改变偏航来看:

可以看到通过三维偏航我们可以看到完整的图像,已经被直立和矫正,ok,我们再来一个深度的应用

三维偏航AI 跟踪系统

我们使用AI来跟踪球员的密集度和球的位置,来左右偏航,让拼接相机在根本不动的情况下左右自动偏航,让观察者认为我们的系统有云台功能

放大和缩小,抗锯齿功能

矩阵优化,解码编码优化

我们完成了图像上的三维投影,如何做到视频上能够到一秒30帧4K分辨率转化呢,我们的策略是优化矩阵运算,将所有的矩阵合并,将来图像只要一次矩阵运算就完成投影,再进行显卡的优化,图像的解码,矩阵运算,编码运算完全在GPU的显存上运行,不出GPU,编码完了以后再出显存到内存,使用rtsp协议直接建立自身服务,不推流,这样极大减小了消耗,部署上也更加方便。

在运算基础上,我们还可以在进行各种图像处理运算,优化到视频的一秒30帧左右。

其他矫正

其他矫正还有很多,例如球面和抛物线矫正,下次我们再将更多的算法,例如鱼眼图像的矫正,鹰眼图像,隧道图像,仓库,这些都需要矫正成正常的图像去观察,我们放到其他的文章里面介绍

相关推荐
kaixin_啊啊7 天前
突破限制:Melody远程音频管理新体验
音视频
ai产品老杨7 天前
解锁仓储智能调度、运输路径优化、数据实时追踪,全功能降本提效的智慧物流开源了
javascript·人工智能·开源·音视频·能源
MThinker7 天前
02-Media-8-uvc_with_csc.py 使用硬件解码的USB摄像头(UVC)捕获视频并显示的程序
音视频·智能硬件·micropython·canmv·k230
向阳花开_miemie7 天前
Android音频学习(十八)——混音流程
学习·音视频
清风6666667 天前
基于STM32的APP遥控视频水泵小车设计
stm32·单片机·mongodb·毕业设计·音视频·课程设计
Cary丿Xin7 天前
Luma 视频生成 API 对接说明
音视频
奔跑吧 android8 天前
【车载audio开发】【基础概念1】【音频基础概念通俗讲解】
音视频·channel·audio·aosp·frame·period_size
小狮子安度因8 天前
ffplay音频重采样
ffmpeg·音视频
张晓~183399481218 天前
短视频矩阵源码-视频剪辑+AI智能体开发接入技术分享
c语言·c++·人工智能·矩阵·c#·php·音视频
GilgameshJSS8 天前
【学习K230-例程23】GT6700-音频FFT柱状图
python·学习·音视频