PnP(Perspective-n-Point)算法 | 用于求解已知n个3D点及其对应2D投影点的相机位姿

什么是PnP算法?

  • PnP 全称是 Perspective-n-Point,中文叫"n点透视问题"。
  • 它的目标是:
    已知一些空间中已知3D点的位置(世界坐标)和它们对应的2D图像像素坐标,求解摄像机的姿态(位置和平移)和朝向(旋转)。

简单来说,就是通过3D点和它们在照片上的投影点,算出相机"站在哪儿"和"看向哪儿"。

PnP解决的问题

你有一堆现实世界的点(比如3D模型上的标志点),也知道这些点在照片里的像素位置,PnP就是帮你找出"相机相对于这些点的位置和角度"。

PnP算法的原理(简单版)

  1. 已知条件:

    • n n n 个已知3D点 P i = ( X i , Y i , Z i ) P_i = (X_i, Y_i, Z_i) Pi=(Xi,Yi,Zi),在世界坐标系里。
    • 它们对应的2D像素点 p i = ( u i , v i ) p_i = (u_i, v_i) pi=(ui,vi),在图像中。
  2. 目标:

    • 找到相机的旋转矩阵 R R R 和平移向量 t t t,使得所有3D点经过变换后投影到图像上的位置,尽可能接近对应的2D点。
  3. 数学关系:

    s u i v i 1 = K × ( R × P i + t ) s \begin{bmatrix} u_i \\ v_i \\ 1 \end{bmatrix} = K \times \big( R \times P_i + t \big) s uivi1 =K×(R×Pi+t)

    其中:

    • K K K 是相机内参矩阵,已知。
    • R , t R, t R,t 是未知(我们要解的)。
    • s s s 是尺度因子(用于齐次坐标)。
  4. 求解过程:

    • 利用多组点的对应关系,建立方程组。
    • 通过最小化投影误差(图像点和投影点的距离),用优化算法求出最佳的 R R R 和 t t t。

你可以这样理解:

  • PnP就像"反向投影":你知道点在现实和照片的位置,求相机的位置和朝向。

额外说明:

  • 如果点的数量较少(最少4个点),算法能工作,但更多点通常能得到更稳定准确的结果。
  • 经典的PnP算法有很多变体,比如EPnP、UPnP、RPnP等,都旨在更快或更鲁棒地求解。

值得注意的是PnP的前提:对应关系必须先确定

  • **PnP算法本身不负责找到哪些3D点对应哪些2D点,**它的输入是:

    • 一组3D点(已知位置)
    • 它们在图像中的对应2D点
  • 所以,在用PnP之前,必须先解决"匹配"问题:
    怎样找到图像中哪个像素点对应哪个3D世界点?

对应关系的获得途径举例:

  1. 人工标定/标记:

    在物体或场景上贴标记点,知道标记点的3D坐标,手动或者半自动找到图像中的对应点。

  2. 特征匹配:

    利用特征点检测(如SIFT、ORB)在图像中提取关键点,并用描述子匹配它们与3D点(如用激光扫描得到的点云中提取特征点)。

  3. 结构光或投影仪:

    通过主动投影图案产生已知对应关系。

  4. 深度相机(RGB-D)或激光雷达数据:

    直接获得3D点和2D图像对齐。

没有对应关系,PnP算法就无从下手

所以在做定位、姿态估计、SLAM等任务时,建立稳定准确的"3D点 ↔ 2D点"对应关系是关键的第一步。

相关推荐
罗西的思考9 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考9 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
武子康10 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
武子康15 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
卡尔曼的BD SLAMer15 小时前
北斗导航 |GNSS ION论文集汇总1997到2022(链接在文末)
算法·北斗导航
时间的拾荒人15 小时前
Redis Cluster 集群详解:分片算法、搭建、故障处理与扩容实战
数据库·redis·算法·集群
老师我太想进步了202618 小时前
【数据结构-8】栈的实现
c语言·数据结构·算法
kyle~19 小时前
因子图优化(Factor Graph Optimization)
c++·算法·机器人·传感器
Pniubi20 小时前
贪心算法入门
算法·贪心算法
MobotStone20 小时前
AI 能不能越用越会用?从“改答案”到“改进自己”,读懂 RSI
人工智能·算法