从相机空间到像素空间的投影和反投影原理和代码

目录

从相机空间到像素空间的投影

效果

​编辑

公式

​编辑

代码

像素空间到相机空间的反投影


记录一下从相机空间到像素空间的投影(3D-->2D)和像素空间到相机空间的反投影(2D-->3D)。

推荐blog:SLAM入门之视觉里程计(2):相机模型(内参数,外参数) - Brook_icv - 博客园 (cnblogs.com)

从相机空间到像素空间的投影

主要是估计出物体相对相机的位姿之后,把物体投影到2D像素平面看看mask,想看看根据marker的位姿传播的误差大不大。即看看投影误差。

效果

还是存在一些误差

公式

代码

我这里的代码是从物体坐标系--》相机坐标系--》像素坐标系

复制代码
def project3Dto2D(points_local, center_local, pose, K, height, width):
    relative_points = points_local - center_local             # (0,0,0), 物体在物体坐标系下的点云的坐标
    homogeneous_points = np.ones((4,relative_points.shape[0]))
    homogeneous_points[:3,:] = relative_points.transpose()

    camera_points = np.matmul(pose, homogeneous_points)  # 物体在cam坐标系下的点云的坐标

    image_points = np.matmul(K, camera_points[:3,:]) # 相机坐标系下的点云坐标投影到图像平面

    assert np.min(image_points[2]) > 0

    image_points[0] = image_points[0]/image_points[2] # 将投影后的图像坐标除以深度,得到归一化坐标。
    image_points[1] = image_points[1]/image_points[2]

    pixel_points = np.round(image_points[:2,:]) # 对归一化坐标取整,得到像素坐标。

    mask1 = pixel_points[0,:] > -1            # 根据像素坐标的范围进行剪裁,即将超出图像范围的点云剔除。
    mask2 = pixel_points[1,:] > -1
    mask3 = pixel_points[0,:] < width
    mask4 = pixel_points[1,:] < height

    mask = mask1&mask2&mask3&mask4
    selected_index = np.where(mask)
    pixel_points = np.take(pixel_points, selected_index[0], axis=1)
    depth = np.take(image_points[2,:], selected_index[0])
    
    return pixel_points.astype(int), depth

像素空间到相机空间的反投影

主要是根据yolov8检测的mask(u,v),获取对应的深度值z,根据uvz求解出物体的在相机坐标下的3D坐标(XYZ)

复制代码
cx, cy, fx, fy = 323, 238, 616, 616
x = (u - cx) / fx
y = (v - cy) / fy
x = x * z
y = y * z
相关推荐
kyle~1 分钟前
Opencv---深度学习开发
人工智能·深度学习·opencv·计算机视觉·机器人
运器12315 分钟前
【一起来学AI大模型】PyTorch DataLoader 实战指南
大数据·人工智能·pytorch·python·深度学习·ai·ai编程
超龄超能程序猿29 分钟前
(5)机器学习小白入门 YOLOv:数据需求与图像不足应对策略
人工智能·python·机器学习·numpy·pandas·scipy
卷福同学30 分钟前
【AI编程】AI+高德MCP不到10分钟搞定上海三日游
人工智能·算法·程序员
帅次38 分钟前
系统分析师-计算机系统-输入输出系统
人工智能·分布式·深度学习·神经网络·架构·系统架构·硬件架构
The_Killer.44 分钟前
格密码--数学基础--06对偶空间与对偶格
学习·线性代数·密码学
AndrewHZ1 小时前
【图像处理基石】如何入门大规模三维重建?
人工智能·深度学习·大模型·llm·三维重建·立体视觉·大规模三维重建
5G行业应用1 小时前
【赠书福利,回馈公号读者】《智慧城市与智能网联汽车,融合创新发展之路》
人工智能·汽车·智慧城市
悟空胆好小1 小时前
分音塔科技(BABEL Technology) 的公司背景、股权构成、产品类型及技术能力的全方位解读
网络·人工智能·科技·嵌入式硬件
探讨探讨AGV1 小时前
以科技赋能未来,科聪持续支持青年创新实践 —— 第七届“科聪杯”浙江省大学生智能机器人创意竞赛圆满落幕
人工智能·科技·机器人