1.2.1 相机模型—内参、外参

相机模型-内参、外参

一、内参（Intrinsics）

物理成像坐标系： O ′ − x ′ − y ′ O'-x'-y' O′−x′−y′

像素坐标系： O − u − v O-u-v O−u−v

相机坐标系： O − x − y O-x-y O−x−y

世界坐标系： O − X − Y − Z O-X-Y-Z O−X−Y−Z

在世界坐标系下的点 P [ X , Y , Z ] T P[X,Y,Z]^T P[X,Y,Z]T ，通过相机坐标系下的光心 O O O 投影到物理成像平面上的 P ′ [ X ′ , Y ′ , Z ′ ] T P'[X',Y',Z']^T P′[X′,Y′,Z′]T ，对应到像素坐标系下的 [ u , v ] T [u,v]^T [u,v]T 。

由相似三角形可以得到：

Z f = − X X ′ = − Y Y ′ \frac Z f = -\frac X {X'}=-\frac Y {Y'} fZ=−X′X=−Y′Y

带负号是因为小孔成像成的是倒像。为了简化模型，可以把物理成像平面看作为放到了相机的前方，这样可以直观的认为成立的正像（虚像），如下图2：

可以得到：

Z f = X X ′ = Y Y ′ \begin{align} \frac Z f = \frac X {X'}=\frac Y {Y'} \end{align} fZ=X′X=Y′Y

X ′ = f X Z \begin{align} X'=f\frac X Z \end{align} X′=fZX

Y ′ = f Y Z \begin{align} Y'=f\frac Y Z \end{align} Y′=fZY

从物理成像坐标系到像素坐标系之前，相差了一个缩放和平移。缩放是因为两个坐标系之前的表示的单位长度不一致，平移是因为两个坐标系的原点不一致。

假设，像素坐标在 u u u 方向上缩放了 α \alpha α 倍，在 v v v 方向上缩放了 β \beta β 倍，同时，原点平移了 [ c x , c y ] T [c_x,c_y]^T [cx,cy]T 。那么点 P ′ [ X ′ , Y ′ , Z ′ ] T P'[X',Y',Z']^T P′[X′,Y′,Z′]T 与像素坐标系下 [ u , v ] T [u,v]^T [u,v]T 的关系为：

{ u = α X ′ + c x v = β Y ′ + c y \begin{cases} u=\alpha X'+c_x \\ v=\beta Y'+c_y \end{cases} {u=αX′+cxv=βY′+cy

f x = α f f_x = \alpha f fx=αf

f y = β f f_y = \beta f fy=βf

{ u = f x X Z + c x v = f y Y Z + c y \begin{cases} u=f_x \frac XZ + c_x \\ v=f_y \frac YZ + c_y \end{cases} {u=fxZX+cxv=fyZY+cy

其中，变量的单位是 f → m m ; α , β → 像素 / m m ; f x , f y → 像素 f \rightarrow mm ; \alpha, \beta \rightarrow 像素/mm; f_x,f_y \rightarrow 像素 f→mm;α,β→像素/mm;fx,fy→像素。将坐标进行归一化，写成矩阵形式，并对左侧像素坐标进行齐次化，方便后面的运算：

[ u v 1 ] = 1 Z [ f x 0 c x 0 f y c y 0 0 1 ] P = △ 1 Z K P \begin{bmatrix} u \\ v \\ 1 \\ \end{bmatrix} = \frac 1Z \begin{bmatrix} f_x &0 &c_x \\ 0 &f_y &c_y\\ 0 &0 &1 \\ \end{bmatrix} \boldsymbol{P} \overset{\triangle}{=} \frac1Z \boldsymbol{KP} uv1 =Z1 fx000fy0cxcy1 P=△Z1KP

Z [ u v 1 ] = [ f x 0 c x 0 f y c y 0 0 1 ] P = △ K P {Z}\begin{bmatrix} u \\ v \\ 1 \\ \end{bmatrix} = \begin{bmatrix} f_x &0 &c_x \\ 0 &f_y &c_y \\ 0 &0 &1 \\ \end{bmatrix} \boldsymbol{P} \overset{\triangle}{=} \boldsymbol{KP} Z uv1 = fx000fy0cxcy1 P=△KP

把中间的量组成的矩阵称为相机的内参矩阵 （Camera Intrinsics） K \boldsymbol K K 。

（一）内参矩阵参数获取

图像大小 [ w , h ] [w,h] [w,h] ，单位 p i x e l pixel pixel ；相机焦距 f f f ，单位 m m mm mm ；视场角 F O V − α FOV-\alpha FOV−α ，单位弧度；像素单元长度 d x , d y \mathrm{d}x,\mathrm{d}y dx,dy ，单位 m m / p i x e l mm/pixel mm/pixel ；内参 $f_x,f_x $，单位 p i x e l pixel pixel ：

f x = f d x \boldsymbol{f_x=\frac f{\mathrm{d}x}} fx=dxf

f y = f d y \boldsymbol{f_y=\frac f{\mathrm{d}y}} fy=dyf

c x = w 2 ( 假设相机主点在图像中央 ) \boldsymbol{c_x=\frac w2} \ (假设相机主点在图像中央) cx=2w (假设相机主点在图像中央)

c y = h 2 ( 假设相机主点在图像中央 ) \boldsymbol{c_y =\frac h2} \ (假设相机主点在图像中央) cy=2h (假设相机主点在图像中央)

f x \boldsymbol {f_x} fx就相当于用 x x x 方向的像素数去量化物理焦距 f f f ；

f y \boldsymbol {f_y} fy就相当于用 y y y 方向的像素数去量化物理焦距 f f f ；

1. 已知相机的硬件参数求内参

相机的内参出厂后就是固定不变的，如果知晓相机的出厂参数，可以计算相机的内参。

如成像传感器是 m × n ( μ m ) m\times n(\mu m) m×n(μm) ，图像尺寸是 w × h ( p i x e l ) w\times h(pixel) w×h(pixel) ，那么图像像素单元就是

d x = m w ( μ m / p i x e l ) \mathrm{d}x=\frac mw(\mu m/pixel) dx=wm(μm/pixel)

d y = n h ( μ m / p i x e l ) \mathrm{d}y=\frac nh(\mu m/pixel) dy=hn(μm/pixel)

c x = w 2 c y = h 2 c_x=\frac w2 \\ c_y =\frac h2 cx=2wcy=2h

如果 d x = d y \mathrm{d}x=\mathrm{d}y dx=dy ，则图像像素单元是一个正方形，此时 f x = f y \boldsymbol {f_x=f_y} fx=fy ；

如果 d x ≠ d y \mathrm{d}x \neq \mathrm{d}y dx=dy ，则图像像素单元是一个矩形，此时 f x ≠ f y \boldsymbol {f_x \neq f_y} fx=fy 。

如成像传感器是 2000 × 1000 ( μ m ) 2000\times 1000(\mu m) 2000×1000(μm) ，图像尺寸是 1000 × 500 ( p i x e l ) 1000\times 500(pixel) 1000×500(pixel) ，那么图像像素单元就是 d x = d y = 2 ( μ m / p i x e l ) \mathrm{d}x=\mathrm{d}y=2(\mu m/pixel) dx=dy=2(μm/pixel) ， c x = 500 , c y = 250 ( p i x e l ) c_x=500,c_y=250(pixel) cx=500,cy=250(pixel) 。

2. 求视场角 FOV

这里只是求水平方向上的 FOV，垂直方向上的 FOV 求法和水平是一致的。

（参考图3）其中，成像传感器是 m × n ( μ m ) m\times n(\mu m) m×n(μm) ，图像尺寸是 w × h ( p i x e l ) w\times h(pixel) w×h(pixel) ，像素单元 x x x 轴方向长度 d x = m w ( μ m / p i x e l ) \mathrm{d}x=\frac mw(\mu m/pixel) dx=wm(μm/pixel) ，可以看到：

tan ⁡ ( α 2 ⋅ π 180 ) = m / 2 f \begin{align} \tan({\frac {\alpha}2} \cdot \frac {\pi}{180} ) = \frac {m/2}{f} \end{align} tan(2α⋅180π)=fm/2

F O V = α = 2 arctan ⁡ ( m / 2 f ) ⋅ 180 π \begin{align} FOV=\alpha = 2\arctan(\frac {m/2}{f}) \cdot \frac {180}{\pi} \end{align} FOV=α=2arctan(fm/2)⋅π180

m = w ⋅ d x m =w\cdot \mathrm{d}x m=w⋅dx

F O V = α = 2 arctan ⁡ ( w ⋅ d x / 2 f ) ⋅ 180 π FOV=\alpha =2\arctan(\frac {w\cdot \mathrm dx/2}{f}) \cdot \frac {180}{\pi} FOV=α=2arctan(fw⋅dx/2)⋅π180

f x = f d x f_x = \frac f{\mathrm dx} fx=dxf

F O V = α = 2 arctan ⁡ ( w 2 f x ) ⋅ 180 π \begin{align} FOV=\alpha =2\arctan(\frac {w}{2f_x}) \cdot \frac {180}{\pi} \end{align} FOV=α=2arctan(2fxw)⋅π180

如果已知相机传感器尺寸，通过公式 (5) 可以计算出相机的视场角 F O V FOV FOV ；

如果已知相机内参，通过公式 (6) 可以计算出相机的视场角 F O V FOV FOV 。

3. 通过 FOV 计算内参

由公式 (6)，可得：

w 2 f x = tan ⁡ ( F O V 2 ⋅ π 180 ) \frac{w}{2f_x} = \tan(\frac {FOV}{2} \cdot \frac {\pi}{180}) 2fxw=tan(2FOV⋅180π)

f x = w 2 tan ⁡ ( F O V 2 ⋅ π 180 ) f_x = \frac w{2\tan(\frac {FOV}{2} \cdot \frac {\pi}{180})} fx=2tan(2FOV⋅180π)w

f y = h 2 tan ⁡ ( F O V 2 ⋅ π 180 ) f_y = \frac h{2\tan(\frac {FOV}{2} \cdot \frac {\pi}{180})} fy=2tan(2FOV⋅180π)h

如果 d x = d y \mathrm{d}x=\mathrm{d}y dx=dy ，则图像像素单元是一个正方形，此时 f x = f y \boldsymbol {f_x=f_y} fx=fy ； c x = w 2 \boldsymbol {c_x=\frac w2 } cx=2w ； c y = h 2 \\ \boldsymbol {c_y =\frac h2} cy=2h 。

二、外参 (Extrinsics)

相机外参的逆矩阵被称为camera-to-world (c2w)矩阵，其作用是把相机坐标系的点变换到世界坐标系。因为NeRF主要使用c2w，这里详细介绍一下c2w的含义。c2w矩阵是一个4x4的矩阵，左上角3x3是旋转矩阵R，右上角的3x1向量是平移向量T。有时写的时候可以忽略最后一行 [0,0,0,1] 。c2w矩阵的值直接描述了相机坐标系的朝向和原点：

$$

\left[
\begin{matrix}
R & T \
0 & 1 \
\end{matrix}
\right]

\left[

\begin{matrix}

r_{11} & r_{12} & r_{13} & t_1 \

r_{21} & r_{22} & r_{23} & t_2 \

r_{31} & r_{32} & r_{33} & t_3 \

0 & 0 & 0 & 1 \

\end{matrix}

\right]

##

\left[
\begin{matrix}
R & T \
\end{matrix}
\right]