前置约定
设两视图：左相机 L、右相机 R
- 像素坐标：u= u,v1 ^T
- 相机归一化平面坐标 （去内参、去畸变）x=K^-1u=x,y,1^T
- 左 / 右内参矩阵：Kl Kr
- 两相机相对位姿：旋转 R，平移 t；t的对应的反对称矩阵
- 空间点：X_w；平面场景满足：n^TX_w + d = 0
1. 本质矩阵E（Essential Matrix）
本质矩阵：两个视角相机坐标系的转换 描述空间中的一个点，在不同视角下的几何约束关系
本质矩阵和相机外参有关系，和内参无关系
数学定义
由两相机相对运动直接构造：
核心约束（对极约束，归一化坐标域）
同一空间点在两视图归一化坐标 x_L,x_R满足：
几何前提
无空间共面假设 ，适用于任意三维场景，仅要求两相机存在相对旋转 + 平移。
2. 基础矩阵 F（Fundamental Matrix）
基础矩阵：在不同视角下图像对应的关系，是单应矩阵的一个特例
1 数学定义
2 核心约束（对极约束，像素坐标域）
3、几何前提
3. 单应矩阵 H（Homography）
1 数学推导（强前提：空间点全部共面）
2 核心约束（线性投影映射）
3 像素域单应矩阵
所有空间三维点严格落在同一个平面上。 一旦点不共面，H模型彻底失效
4、三大矩阵核心性质逐项对比（数学维度）
| 矩阵 | 作用坐标域 | 依赖内参 |
|---|---|---|
| E | 相机归一化坐标 x | 不依赖内参 |
| F | 图像原始像素坐标 u | 强依赖左右相机内参 |
| H | 可用于归一化坐标 / 像素坐标 | 像素域版本依赖内参 |
核心区分：
E只描述相机相对运动，和相机镜头无关；
F融合了运动 + 镜头内素参，直接适配图像像素
2 矩阵秩、奇异性、可逆性
-
本质矩阵 E ：rank（E） = 2，秩亏、不可逆 。 标准性质：奇异值必满足 sigma_1=sigma_2,sigma_3=0。 相对旋转：3 DOF平移向量：仅方向 有效，整体尺度不可观 → 2 DOF 总自由度：5 每对点提供 2 个方程，理论最少：5 对匹配点（5 点法）
-
基础矩阵F： rank(F) = 2，秩亏、不可逆。 继承E的秩特性，求解后必须强制约束秩为 2 去噪。整体自由度：7
-
单应矩阵H： rank（H）=3，满秩、可逆。 平面投影是一一映射，可做反向图像变换自由度：8个自由度
5、约束形式与几何含义深度解析
| 矩阵 | 主流求解算法 | 前置条件 |
|---|---|---|
| E | 5 点法（非线性）、8 点法（先求 F 再反推 E） | 已知 / 预先求解相机内参 |
| F | 8 点法（线性）、7 点法、RANSAC 鲁棒求解 | 无需内参，直接用像素坐标 |
| H | 4 点法（DLT 直接线性变换）、RANSAC | 空间点共面、无三点共线 |
6、面试高频问题
问题 1：E和 F最核心区别？
答：E 定义在归一化坐标 ，仅描述两相机相对运动，与内参无关；
F定义在像素坐标，融合了相机内参和相对运动，可直接作用于原始图像。二者秩均为 2，都存在尺度歧义。
问题 2：什么时候用 H，什么时候用E/F？
答：空间点共面 （标定板、墙面、文档）用单应矩阵 H；任意三维立体场景 （重建、SLAM、双目测距）用本质 / 基础矩阵 E/F。
问题 3：为什么相机标定不用 E/F而用 H？
答：E/F有尺度歧义，无法得到标定板真实物理尺寸；H基于平面约束，可解出带真实尺度的相机位姿与内参，满足标定需求。
问题 4：三个矩阵秩分别是多少？可逆吗？
答：E、F秩为 2，秩亏、不可逆；H秩为 3，满秩、可逆。
问题 5：平面场景下三个矩阵是否同时成立？
答：是。平面场景既满足共面投影关系x_R=Hx_L，也满足对极约束 x_R^T Ex_L=0。
7、整体逻辑链路总结
- 运动层面：两相机相对旋转 + 平移 -》构造E（纯运动）
- 像素层面：E结合相机内参 -》得到 F（运动 + 镜头）
- 平面约束：空间点强制共面 -》得到 H（平面投影变换）
三者根源都是相机针孔成像模型，只是附加约束、坐标域、适用场景不同；也是双目标定、矫正、匹配、重建、图像拼接等视觉任务的三大数学基石。
8、应用
- 基础矩阵 F ：管像素匹配约束，找极线、筛误匹配，不用内参；
- 本质矩阵 E ：管相机相对运动，分解旋转平移，是 3D 重建、双目外参的基础，需要内参；
- 单应矩阵 H ：管平面透视变换，做图像矫正、图像拼接、相机标定，依赖共面假设，能恢复真实尺度
-
相机标定流程 棋盘格（平面）→ 用H 求初始内参 + 位姿 → 位姿作为初值 → 计算 E/F → 送入 BA 全局优化，得到最终内外参。
-
双目立体重建流程 标定得到内外参 → 由外参构造 E → 推导F得到极线约束 → 双目矫正 → 极线约束下做立体匹配 → 三角测距生成点云。
-
图像拼接 / 文档矫正 场景为墙面 / 纸张（平面）→ 直接用H做透视变换，完全不需要 E/F。
-
未知相机参数的图像匹配 直接用 F 做极线约束筛除误匹配，不使用E（缺内参）、不使用 H（非平面）