料箱抓取中的背面点:按面板读懂一张坐标可视化

  料箱抓取画面里的背面点,是 HccePose(BF) 根据已知物体的 RGB 外观预测出的模型表面坐标。读图时把正面坐标、背面坐标和最后的位姿投影沿着同一个物体对照,才能看出各个中间结果在表达什么。

  这张料箱示例把白色零件放在浅碗中。先选靠近碗口下沿、具有较大斜面的那一件,记住它的位置,再横向追踪各个面板;一开始就同时看所有实例,很容易把不同零件的颜色块混在一起。  料箱可视化把掩膜与位姿投影、解码后的正背表面坐标和连续码分层展示,背面点由 RGB 图像中的已知物体线索预测。 面板的生成与排列可对照 HccePose(BF) 可视化实现。## 按面板从左到右读  先看首行的 Mask & 6D Poses。彩色区域用来区分实例,线框由解算出的位姿投影到画面上。观察某一件时,可以顺着它的可见边界,看线框的方向和空间走向是否与物体一致。这个面板回答的是解算结果放回原图之后怎样。  同一行的 3D (Front) 给出解码后的正表面坐标可视化。颜色承载物体坐标信息,不能按材料颜色去理解。一个原本是白色的零件,在这里可以呈现多种颜色,因为不同表面位置对应不同的模型坐标。  选中的斜面在 Front 里能看到绿、蓝紫之间的过渡,到 Back 的相同区域,又出现黄红与绿色的不同分布。物体在原图中的位置没有换,改变的是这一组像素所表达的表面坐标。  再移到 3D (Back),继续盯住刚才选定的那个实例。正面和背面的坐标图仍然放在原图的对应区域上,但代表相机视线穿过物体时的不同表面位置。因此,背面图会出现在物体的图像区域内,不需要把物体翻过来再拍一张照片。  这种表示建立在训练过的模型几何与图像线索之间的联系上。HccePose(BF) 论文把前后表面定义在同一图像投影关系下,并利用预测坐标构造对应关系,再完成 PnP 解算。背面坐标图可以用来检查网络对物体另一侧结构的预测。  下方的 C 系列面板是连续编码,Front 与 Back 两组分别对应前后表面。同一零件在不同层里出现不同的明暗或颜色分布,反映了坐标经过层次编码后的变化。它们是网络输出的数值表示,和首行已经解码出的表面坐标处在不同阶段。  把整张图读完,可以沿同一实例留下一条检查路径:区域是否连贯,前后坐标是否组织成合理结构,最后的线框是否沿着零件的方向贴回原图。出现异常时,先定位是哪一层开始偏离,比只看最终投影更容易找到需要检查的位置。  新增虚拟场景沿目标支架的同一视线,求最近和最远网格交点。彩色图为正背表面真值,不是 HccePose(BF) 预测,应与上面的网络可视化分别阅读。## 仓库与文档  代码在 GitHub 仓库,中文文档是仓库里的中文说明。- 打开 HccePose(BF) 的 GitHub 仓库- 打开 HccePose(BF) 中文文档

相关推荐
视***间19 天前
视程空间Edge工业边缘盒:给工业机器人装一颗耐造的“本地大脑“
前端·edge·机器人·边缘计算·智慧工业·工业视觉·视程空间
LateFrames1 个月前
信号极稀的蜂窝微孔芯片,网格对齐处理
图像处理·工业视觉·微孔阵列·生物芯片·网格重建
2601_962297252 个月前
C# vs Java vs Python:YOLO工业部署性能对比实战
java·python·c·工业视觉·性能对比
泉飒6 个月前
qt软件无法打开编译
笔记·工业视觉
AGV算法笔记6 个月前
OpenCV 二维码三维定位 普通摄像头也能测空间坐标
人工智能·数码相机·opencv·工业视觉· 机器人视觉
时光飞逝的日子6 个月前
Chiplet 架构嵌入式设计:异构计算平台搭建与性能调优实战
工业视觉·高性能计算·异构计算·嵌入式设计·chiplet 架构
中伟视界6 个月前
【技术方案】煤矿皮带下料口堵料监测:基于 AI 防爆摄像机的联动控制实现
人工智能·工业视觉·矿山智能化·皮带运输安全·堵料监测
salt9 个月前
HALCON字符串处理实战:从基础操作到正则表达式应用
正则表达式·halcon·工业视觉·字符串处理
泉飒1 年前
海康相机概述
计算机视觉·工业视觉