前言
本节我们将学习相机标定和对极几何两部分的内容。
在相机标定部分，我们将学习直接线性变换（Direct Linear Transform, DL）,**张正友标定法（Zhang's Method）**和 **Perspective-n-Point (PnP)**这三种方法。
在对极几何部分，我们将了解极平面、基线、极点和极线等概念，以及相机相对位姿估计和对极约束。
一、相机标定
1.1 相机内外参
**内参：**描述相机本身的属性，同一相机，内参固定
**外参：**描述相机的姿态、位置，随时间变化
让我们来回顾一下相机的成像过程
1.2 相机标定概述
通过实验的方法计算和估计相机内外参数的过程称为相机标定(Camera Calibration)
相机标定的应用有：
• 矫正透镜畸变（内参标定）
• 建立相机成像几何模型，实现三维重构
相机标定的意义：
• 相机标定是非常关键的环节，标定结果的精度直接影响相机工作产生结果的准确性
• 做好相机标定是做好后续工作的前提
下面讲解三种相机标定的常见方法：
• 直接线性变换 (Direct Linear Transform, DLT)------同时估计内外参
• 张正友标定法 (Zhang's Method)------估计内参
• Perspective-n-Point (PnP)------估计外参
1.3 直接线性变换（DLT）
1.3.1 基本设定
• 已知：部分参考点在图像坐标系和世界坐标系下的坐标
• 求解：相机的内参矩阵𝑲、外参𝑹与𝒕
1.3.2 世界坐标系到图像坐标系的映射
1.3.3 关于矩阵M自由度的解释
1.3.4 DLT算法的基本思路和流程
1.3.5 小结
• DLT方法通过计算未标定数据 (Uncalibrated Camera)的映射参数矩阵𝑀，来计算相机内外参
• 需要已知至少6个观测点的世界坐标和图像坐标
• 当已知观测点近似落在同一平面时，DLT求解不稳定
1.4 张正友标定法
【参考文献】
Zhang, A flexible new technique for camera calibration, IEEE TPAMI, 2000
1.4.1 标定工具：标定板
相机标定往往需要观测点在世界坐标系中的坐标，但是世界坐标不易测量
因此，引入二维标定板：
• 由规则的黑白棋盘格构成，尺寸已知
• 网格点可以被角点检测算法自动、准确检测出
• 在标定板上建立世界坐标系，标定板位于Z=0平面，网格点作为观测点
二维标定板的优势如下：
- 观测点世界坐标易得
- Z=0降低了求解复杂度
1.4.2 从世界坐标系到图像坐标系的映射
• 用于描述两个平面之间的映射关系
• 共有3 × 3 = 9个元素，但由于齐次性，自由度为8
1.4.3 求解内参矩阵
1.4.4 张氏标定法基本思路和流程
- 在标定板上建立世界坐标系，并以不同的位姿对其拍摄3张以上图像(可以晃动标定板或改变相机姿态)
- 利用角点检测算法对每张图中标定板上的网格点进行检测，每张图选取4个以上网格点作为标定点，并读取标定点的图像坐标和世界坐标
- 利用3张图像的观测点列出3个方程组，通过SVD分解计算3个单映矩阵 𝑯
- 利用三个单映矩阵 𝑯 列出6个关于矩阵 𝑩 的方程，并利用SVD分解求出 𝑩
- 由于 𝑩 = 𝑲−⊺𝑲−𝟏 ,对求出的 𝑩 进行cholesky 矩阵分解：𝑩 = 𝑨𝑨⊺→𝑲 = 𝑨 −⊺
1.5 PnP
1.5.1 基本设定
• 已知：至少3个参考点在图像坐标系和世界坐标系下的坐标，相机的内参矩阵𝑲
• 求解：外参𝑹与𝒕，即估计相机在世界坐标系下的位置
1.5.2 基本思路
二、对极几何
2.1 对极几何(Epipolar Geometry)简介
• 以上三种相机标定方法均需图像中观测点的世界坐标
• 相比于世界坐标，观测点的图像坐标更容易获取
• 给定同一场景的两张图像，能否仅根据对应点的图像坐标估计相机的相对姿态？
• 利用对极几何约束
2.2 对极几何的基本设定
• 𝑰𝟏, 𝑰𝟐是同一场景拍摄的两张图像，𝑶𝟏, 𝑶𝟐是拍摄时的相机中心
• 相机的相对运动/姿态为 𝑹, 𝒕
• 换言之，以相机𝑶𝟏的相机坐标系为世界坐标系，相机𝑶𝟐的外参是𝑹, 𝒕
• 空间中的点𝑷在两图中投影为𝒑𝟏, 𝒑𝟐
• 平面 𝑶𝟏𝑶𝟐𝑷 称为极平面 (Epipolar Plane), 𝑶𝟏𝑶𝟐 称为基线(Baseline)，基线与 𝑰𝟏,𝑰𝟐 的交点 𝒆𝟏, 𝒆𝟐 称为极点 (Epipole)，极平面与两张图像的交线 (𝒑𝟏𝒆𝟏, 𝒑𝟐𝒆𝟐) 称为极线 (Epipolar Line)
2.3 极线的物理意义
- 在仅已知投影点𝒑𝟏坐标的情况下，无法获得3D点𝑷的具体未知，只能推断出点𝑷在投影射线𝑶𝟏𝒑𝟏上
- 直线𝑶𝟏𝒑𝟏在图像𝑰𝟐上的投影就是极线𝒑𝟐𝒆𝟐
- 所以空间中投影在图像𝑰𝟏上𝒑𝟏位置上的点在图像𝑰𝟐上对应点位于直线𝒑𝟐𝒆𝟐上
- 换言之，图像𝑰𝟏上的一个点𝒑𝟏与图像𝑰𝟐上的一条直线𝒑𝟐𝒆𝟐对应
2.4 极线的解析式
【对极约束】
2.5 相机相对位姿估计与对极约束
- 给定两张图8个以上对应点，可以通过8点法求解线性齐次系统求出基础矩阵，然后如果相机已经进行标定（即𝑲 已知）可以求出本质矩阵，并进一步求出两个相机的相对位姿𝑹𝒕
- 由于本质矩阵的齐次性，无法只通过对应点估计出相对位姿𝑅𝑡的绝对尺度
- 如果已知两个相机的相对位姿𝑹𝒕，可以求出基础矩阵𝑭，进而获得极线𝒑𝟐𝒆𝟐的位置。𝒑𝟏点在图像𝑰𝟐上的对应点搜索空间可以从整幅图像缩小到极线上
总结
本节我们学习了相机标定和对极几何的基本概念。重点需要掌握直接线性变换和张正友标定法的基本流程，知道这两种方法需要几个观测点和几张图像能完成标定。还需要知道对极几何中极平面、基线、极点和极线的基本概念并在图中对应。最后需要掌握极线解析式的推导过程，知道两个约束关系以及其代表的物理含义，知道相机的相对位姿估计。