一、四大坐标系介绍
1,世界坐标系
从这个世界(world)的视角来看物体
世界坐标系是3D空间坐标,每个点的位置用 ( X w , Y w , Z w ) (X_w,Y_w,Z_w) (Xw,Yw,Zw)表示
2,相机坐标系
相机本身具有一个坐标系,其也是3D空间坐标
从相机(camera)的视角来看物体,每个点的位置用 ( X c , Y c , Z c ) (X_c,Y_c,Z_c) (Xc,Yc,Zc)表示
3,图像坐标系
相机坐标系是3D空间的,而我们通过相机拍照得到的照片却是2D平面,这之间涉及到了透视投影(perspective projection),大白话就是相似三角形,将3D空间上的点映射到2D平面上
图像坐标系是实际的物理坐标系 ( x , y ) (x,y) (x,y),其原点位置一般在相机光轴成像与成像平面的交点位置,通常为成像平面的中心点,物理单位为mm
4,像素坐标系
我们在处理图像数据的时候,使用的是像素坐标系 ( u , v ) (u,v) (u,v),比如这个图像的大小为1080*720,即长和宽为1080和780个像素;分辨率等相关概念也是这个大概意思,单位是像素pixel
每个像素都有对应的实际物理尺寸,比如1像素=0.5mm
像素有些情况是矩形,分为x和y方向的长度
5,总结
我们需要通过一些手段,将原本在世界坐标系下的点转换到像素坐标系下
世界坐标系是因为物体本身真实存在的位置,而转到像素坐标系下是因为我们在进行图像处理的时候针对的是像素
故,相机标定的最终目的是实现世界坐标系和像素坐标系之间的转换
二、四大坐标系转换
1,世界坐标系------相机坐标系
相机坐标系和世界坐标系都是3D空间坐标系,任何一个空间中的点,都可以通过旋转
和平移
进行相互转换
假设世界坐标系下有个点 P w ( X w , Y w , Z w ) P_w(X_w,Y_w,Z_w) Pw(Xw,Yw,Zw),通过乘以一个变换矩阵(旋转R+平移T)就可以得到相机坐标系下的对应位置 P c ( X c , Y c , Z c ) P_c(X_c,Y_c,Z_c) Pc(Xc,Yc,Zc)
X c Y c Z c \] = \[ R 11 R 12 R 13 R 21 R 22 R 23 R 31 R 32 R 33 \] \[ X w Y w Z w \] + \[ T 1 T 2 T 3 \] \\begin{bmatrix} X_c\\\\ Y_c\\\\ Z_c \\end{bmatrix}= \\begin{bmatrix} R_{11}\&R_{12}\&R_{13}\\\\ R_{21}\&R_{22}\&R_{23}\\\\ R_{31}\&R_{32}\&R_{33} \\end{bmatrix} \\begin{bmatrix} X_w\\\\ Y_w\\\\ Z_w \\end{bmatrix}+ \\begin{bmatrix} T_1\\\\ T_2\\\\ T_3 \\end{bmatrix} XcYcZc = R11R21R31R12R22R32R13R23R33 XwYwZw + T1T2T3
为了后续的计算方便,转换为齐次坐标系进行表示
\[ X c Y c Z c 1 \] = \[ R 11 R 12 R 13 T 1 R 21 R 22 R 23 T 2 R 31 R 32 R 33 T 3 0 0 0 1 \] \[ X w Y w Z w 1 \] \\begin{bmatrix} X_c\\\\ Y_c\\\\ Z_c\\\\ 1 \\end{bmatrix}= \\begin{bmatrix} R_{11}\&R_{12}\&R_{13}\&T_1\\\\ R_{21}\&R_{22}\&R_{23}\&T_2\\\\ R_{31}\&R_{32}\&R_{33}\&T_3\\\\ 0\&0\&0\&1 \\end{bmatrix} \\begin{bmatrix} X_w\\\\ Y_w\\\\ Z_w\\\\ 1 \\end{bmatrix} XcYcZc1 = R11R21R310R12R22R320R13R23R330T1T2T31 XwYwZw1
其中这个变换矩阵(旋转R和平移T)称为`相机外参`:
\[ R 11 R 12 R 13 T 1 R 21 R 22 R 23 T 2 R 31 R 32 R 33 T 3 0 0 0 1 \] \\begin{bmatrix} R_{11}\&R_{12}\&R_{13}\&T_1\\\\ R_{21}\&R_{22}\&R_{23}\&T_2\\\\ R_{31}\&R_{32}\&R_{33}\&T_3\\\\ 0\&0\&0\&1 \\end{bmatrix} R11R21R310R12R22R320R13R23R330T1T2T31
**相机外参实现了某点所在的`世界坐标系`到`相机坐标系`之间的转换**
### 2,相机坐标系------图像坐标系
就此我们实现了世界坐标系下点 P w ( X w , Y w , Z w ) P_w(X_w,Y_w,Z_w) Pw(Xw,Yw,Zw)到其所对应的相机的坐标系下位置 P c ( X c , Y c , Z c ) P_c(X_c,Y_c,Z_c) Pc(Xc,Yc,Zc)之间的转换
相机坐标系是3D空间坐标系,而相机拍出来的图片是2D平面,这之间涉及透视投影(perspective projection),大白话为**相似三角形**

我们可以看到 X c , Y c , Z c , O c X_c,Y_c,Z_c,O_c Xc,Yc,Zc,Oc这个坐标系为相机坐标系,淡蓝色的平面 x , y , o x,y,o x,y,o为图像坐标系(成像平面)
相机成像的原理是小孔成像,故相机坐标系和图像坐标系的y轴是相反的
相机坐标系的原点 O c O_c Oc与图像坐标系的原点 o o o之间的距离为焦距 f f f(`这里假设相机坐标系和图像坐标系的轴是相互平行且放置位置为正中心,但也有不平行情况,就需要考虑角度了`)
相机坐标系下的点 P c ( X c , Y c , Z c ) P_c(X_c,Y_c,Z_c) Pc(Xc,Yc,Zc)与相机坐标系原点 O c O_c Oc的连线过图像坐标系平面上的点 p ( x , y ) p(x,y) p(x,y)
也就是相机坐标系下的点 P c ( X c , Y c , Z c ) P_c(X_c,Y_c,Z_c) Pc(Xc,Yc,Zc)对应的图像坐标系下的位置为 p ( x , y ) p(x,y) p(x,y)
根据相似三角形可知:
{ x f = X c Z c y f = Y c Z c ⇒ { Z c ⋅ x = f ⋅ X c Z c ⋅ y = f ⋅ Y c \\begin{cases} \\frac{x}{f} = \\frac{X_c}{Z_c}\\\\ \\frac{y}{f} = \\frac{Y_c}{Z_c} \\end{cases} \\Rightarrow \\begin{cases} Z_c·x = f·X_c\\\\ Z_c·y = f·Y_c \\end{cases} {fx=ZcXcfy=ZcYc⇒{Zc⋅x=f⋅XcZc⋅y=f⋅Yc
转化为矩阵形式
Z c \[ x y 1 \] = \[ f 0 0 0 0 f 0 0 0 0 1 0 \] \[ X c Y c Z c 1 \] Z_c \\begin{bmatrix} x\\\\y\\\\1\\end{bmatrix} =\\begin{bmatrix} f\&0\&0\&0\\\\ 0\&f\&0\&0\\\\ 0\&0\&1\&0 \\end{bmatrix} \\begin{bmatrix} X_c\\\\ Y_c\\\\ Z_c\\\\ 1 \\end{bmatrix} Zc xy1 = f000f0001000 XcYcZc1
其中 Z c Z_c Zc为点所在相机坐标系下的Z轴方向位置,是个常量,又称为比例因子
f f f为相机的焦距
通过该矩阵就可以实现`相机坐标系`到`图像坐标系`之间的转换
### 3,图像坐标系------像素坐标系
图像坐标系是物理坐标系,因为它涉及到具体的尺寸大小,每个像素都有其对应的物理尺寸
一般情况下像素是矩形,通常情况下假设 1 p i x e l = d x m m , 1 p i x e l = d y m m 1 pixel = dx mm,1 pixel = dy mm 1pixel=dxmm,1pixel=dymm,其中 d x dx dx和 d y dy dy表示一个像素的长宽分别为多少mm

已知有个小蓝点在`图像坐标系`下的位置为 ( x , y ) (x,y) (x,y),图像坐标系原点所在`像素坐标系`下的位置为 ( u 0 , v 0 ) (u_0,v_0) (u0,v0)
求解:小蓝点所对应的`像素坐标系`为多少?
假设:1个像素的长和宽分别为 d x dx dx和 d y dy dy mm,图像坐标系下1mm对应像素坐标系下为 1 d x \\frac{1}{dx} dx1个像素
小蓝点在图像坐标系下 ( x , y ) (x,y) (x,y)应像素坐标为 ( x ∗ 1 d x , y ∗ 1 d y ) (x \* \\frac{1}{dx} , y \* \\frac{1}{dy}) (x∗dx1,y∗dy1),即 ( x d x , y d y ) (\\frac{x}{dx},\\frac{y}{dy}) (dxx,dyy)
u = x d x + u 0 v = y d y + v 0 u = \\frac{x}{dx} + u_0\\\\ v = \\frac{y}{dy} + v_0 u=dxx+u0v=dyy+v0
整理成矩阵形式:
\[ u v 1 \] = \[ 1 d x 0 u 0 0 1 d y v 0 0 0 1 \] \[ x y 1 \] \\begin{bmatrix} u\\\\ v\\\\ 1 \\end{bmatrix} = \\begin{bmatrix} \\frac{1}{dx}\&0\&u_0\\\\ 0\&\\frac{1}{dy}\&v_0\\\\ 0\&0\&1 \\end{bmatrix} \\begin{bmatrix} x\\\\ y\\\\ 1 \\end{bmatrix} uv1 = dx1000dy10u0v01 xy1
也可以写成另一种形式
\[ x y 1 \] = \[ d x 0 − u 0 d x 0 d y − v 0 d y 0 0 1 \] \[ u v 1 \] \\begin{bmatrix} x\\\\ y\\\\ 1 \\end{bmatrix} = \\begin{bmatrix} dx\&0\&-u_0dx\\\\ 0\&dy\&-v_0dy\\\\ 0\&0\&1 \\end{bmatrix} \\begin{bmatrix} u\\\\ v\\\\ 1 \\end{bmatrix} xy1 = dx000dy0−u0dx−v0dy1 uv1
由此可以得到一个矩阵,实现该点在图像坐标系 ( x , y ) (x,y) (x,y)和像素坐标系 ( u , v ) (u,v) (u,v)下的直接转换
### 4,各个坐标系转换相互推导结合
我们的最终目的是:`世界坐标系`转换到`像素坐标系`
若已知世界坐标系下点的坐标为 P w ( X w , Y w , Z w ) P_w(X_w,Y_w,Z_w) Pw(Xw,Yw,Zw)
将世界坐标系 P w ( X w , Y w , Z w ) P_w(X_w,Y_w,Z_w) Pw(Xw,Yw,Zw)转换为相机坐标系 P c ( X c , Y c , Z c ) P_c(X_c,Y_c,Z_c) Pc(Xc,Yc,Zc)
\[ X c Y c Z c 1 \] = \[ R 11 R 12 R 13 T 1 R 21 R 22 R 23 T 2 R 31 R 32 R 33 T 3 0 0 0 1 \] \[ X w Y w Z w 1 \] \\begin{bmatrix} X_c\\\\ Y_c\\\\ Z_c\\\\ 1 \\end{bmatrix}= \\begin{bmatrix} R_{11}\&R_{12}\&R_{13}\&T_1\\\\ R_{21}\&R_{22}\&R_{23}\&T_2\\\\ R_{31}\&R_{32}\&R_{33}\&T_3\\\\ 0\&0\&0\&1 \\end{bmatrix} \\begin{bmatrix} X_w\\\\ Y_w\\\\ Z_w\\\\ 1 \\end{bmatrix} XcYcZc1 = R11R21R310R12R22R320R13R23R330T1T2T31 XwYwZw1
将相机坐标系 P c ( X c , Y c , Z c ) P_c(X_c,Y_c,Z_c) Pc(Xc,Yc,Zc)转化为图像坐标系 p ( x , y ) p(x,y) p(x,y)
Z c \[ x y 1 \] = \[ f 0 0 0 0 f 0 0 0 0 1 0 \] \[ X c Y c Z c 1 \] Z_c \\begin{bmatrix} x\\\\y\\\\1\\end{bmatrix} =\\begin{bmatrix} f\&0\&0\&0\\\\ 0\&f\&0\&0\\\\ 0\&0\&1\&0 \\end{bmatrix} \\begin{bmatrix} X_c\\\\ Y_c\\\\ Z_c\\\\ 1 \\end{bmatrix} Zc xy1 = f000f0001000 XcYcZc1
将图像坐标系 ( x , y ) (x,y) (x,y)转化为像素坐标系 ( u , v ) (u,v) (u,v),这里的 ( u 0 , v 0 ) (u_0,v_0) (u0,v0)是**图像坐标系的原点** 所对应的**像素坐标系** 下的位置
\[ u v 1 \] = \[ 1 d x 0 u 0 0 1 d y v 0 0 0 1 \] \[ x y 1 \] \\begin{bmatrix} u\\\\ v\\\\ 1 \\end{bmatrix} = \\begin{bmatrix} \\frac{1}{dx}\&0\&u_0\\\\ 0\&\\frac{1}{dy}\&v_0\\\\ 0\&0\&1 \\end{bmatrix} \\begin{bmatrix} x\\\\ y\\\\ 1 \\end{bmatrix} uv1 = dx1000dy10u0v01 xy1
最终进行前后整理可得:
Z c \[ u v 1 \] = \[ 1 d x 0 u 0 0 1 d y v 0 0 0 1 \] \[ f 0 0 0 0 f 0 0 0 0 1 0 \] \[ R 11 R 12 R 13 T 1 R 21 R 22 R 23 T 2 R 31 R 32 R 33 T 3 0 0 0 1 \] \[ X w Y w Z w 1 \] Z_c \\begin{bmatrix} u\\\\ v\\\\ 1 \\end{bmatrix} = \\begin{bmatrix} \\frac{1}{dx}\&0\&u_0\\\\ 0\&\\frac{1}{dy}\&v_0\\\\ 0\&0\&1 \\end{bmatrix} \\begin{bmatrix} f\&0\&0\&0\\\\ 0\&f\&0\&0\\\\ 0\&0\&1\&0 \\end{bmatrix} \\begin{bmatrix} R_{11}\&R_{12}\&R_{13}\&T_1\\\\ R_{21}\&R_{22}\&R_{23}\&T_2\\\\ R_{31}\&R_{32}\&R_{33}\&T_3\\\\ 0\&0\&0\&1 \\end{bmatrix} \\begin{bmatrix} X_w\\\\ Y_w\\\\ Z_w\\\\ 1 \\end{bmatrix} Zc uv1 = dx1000dy10u0v01 f000f0001000 R11R21R310R12R22R320R13R23R330T1T2T31 XwYwZw1
其中 Z c Z_c Zc表示该点在相机坐标系下的Z轴方向的位置,又称为比例因子,本质是常量
相机内参为:
\[ 1 d x 0 u 0 0 1 d y v 0 0 0 1 \] \[ f 0 0 0 0 f 0 0 0 0 1 0 \] \\begin{bmatrix} \\frac{1}{dx}\&0\&u_0\\\\ 0\&\\frac{1}{dy}\&v_0\\\\ 0\&0\&1 \\end{bmatrix} \\begin{bmatrix} f\&0\&0\&0\\\\ 0\&f\&0\&0\\\\ 0\&0\&1\&0 \\end{bmatrix} dx1000dy10u0v01 f000f0001000
相机外参为:
\[ R 11 R 12 R 13 T 1 R 21 R 22 R 23 T 2 R 31 R 32 R 33 T 3 0 0 0 1 \] \\begin{bmatrix} R_{11}\&R_{12}\&R_{13}\&T_1\\\\ R_{21}\&R_{22}\&R_{23}\&T_2\\\\ R_{31}\&R_{32}\&R_{33}\&T_3\\\\ 0\&0\&0\&1 \\end{bmatrix} R11R21R310R12R22R320R13R23R330T1T2T31
就此我们实现了世界坐标系和像素坐标系的转换,这就是相机标定的意义所在
### 5,总结
理想状态下的相机标定,其本质是求解相机的内外参数矩阵
相机外参矩阵需要求解旋转和平移共6个参数
相机内参菊展需要求解焦距 f f f、图像坐标系原点所在的像素坐标系的坐标 ( u 0 , v 0 ) (u_0,v_0) (u0,v0)也称为像主点坐标、单个像素点的长和宽 d x dx dx和 d y dy dy mm,共5个参数
相机内外参数矩阵需要求解`11`个参数,这是不考虑畸变的理想状况,但实际相机都不可避免存在畸变,故还需要求解畸变系数
## 三、畸变
相机标定的最终目的是拿到相机的内外参数矩阵,这些内外参数针对同一个相机是固定的,只需要标定一次即可
相机硬件本身多多少少不可避免存在一定的误差,故需要求解畸变系数用于相机的校准,然后再进行求解内外参矩阵
畸变主要包括(影响最大):`切向畸变`和`径向畸变`,是相机本身**无法避免**的误差
### 1,切向畸变
切向畸变产生于**相机组装过程中** ,透镜本身与相机传感器成像平面不平行

### 2,径向畸变
径向畸变产生于**透镜本身的形状**,光线在远离透镜中心的地方比靠近中心的地方更加弯曲
径向畸变主要包括:`桶形畸变`和`枕形畸变`

切向畸变和径向畸变有对应的模型公式,网上一大堆教程,需要的小伙伴自行学习推导哈
畸变涉及到五个参数:径向畸变参数 k 1 、 k 2 、 k 3 k_1、k_2、k_3 k1、k2、k3;切向畸变参数 p 1 、 p 2 p_1、p_2 p1、p2
## 四、OpenCV代码实战
求解方法很多,这里以张正友标定法(也成为棋盘格标定法)为例进行演示
### 1,准备棋盘格数据
①OpenCV自带几张棋盘格图片,大致路径为:`opencv\sources\samples\data`,当然也可以自己去拍几张棋盘格
把这几张图片放到VS项目中


②新建一个项目,需要用到OpenCV
③跑一下代码即可
### 2,完整代码
修改地方:
①棋盘格角点行列数:`int CHECKERBOARD[2]{ 6,9 }; `

②图片所在文件夹路径:`std::string path = "./image/*.jpg";`
```cpp
#include