FoundationPose 测试记录

https://github.com/NVlabs/FoundationPose?tab=readme-ov-file

FoundationPose

安装

conda环境下搞了一下午,自己电脑的cuda版本太低了,放弃了,就直接装docker环境了。

docker要注意的是,docker要安装GPU版的,否则会报错。

bash 复制代码
docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].

参考解决方案

解析

1. 显示模型

为了显示3D模型,需要重新装下 pyglet的版本,

pip install pyglet==1.5.28

然后运行下面的代码。

bash 复制代码
import trimesh

mesh = trimesh.load('demo_data/mustard0/mesh/textured_simple.obj')

attributes = dir(mesh)
#attributes 中能包含所有类的所有属性和函数
print(attributes)

print(len(mesh.vertices)) #打印顶点数

scene = trimesh.Scene()
# 添加模型到场景
scene.add_geometry(mesh)

# 显示场景
scene.show()

2. run_demo 用于有模型的6D姿态估计

python 复制代码
mesh = trimesh.load(args.mesh_file) #读取mesh

to_origin, extents = trimesh.bounds.oriented_bounds(mesh)
#to_origin是方向和位置,extents是尺寸大小
bbox = np.stack([-extents/2, extents/2], axis=0).reshape(2,3)

...

#初始化四个模块
scorer = ScorePredictor()
refiner = PoseRefinePredictor()
glctx = dr.RasterizeCudaContext()
est = FoundationPose(model_pts=mesh.vertices, model_normals=mesh.vertex_normals, mesh=mesh, scorer=scorer, refiner=refiner, debug_dir=debug_dir, debug=debug, glctx=glctx)

#初始化数据
reader = YcbineoatReader(video_dir=args.test_scene_dir, shorter_side=None, zfar=np.inf)

FoundationPose函数是主要进行6D 姿态估计的函数,

model_pts=mesh.vertices #是mesh的顶点坐标

model_normals=mesh.vertex_normals #是mesh的顶点法线方向,是3D向量

mesh=mesh, #载入 3D 模型

scorer=scorer, #应该是对应论文3.4章节的打分预测

refiner=refiner, #应该对应论文3.3章的精细化预测部分

glctx=glctx,#RasterizeCudaContext函数是使用nvdiffrast库中的RasterizeCudaContext类,用于光栅化CUDA上下文(将3D场景转换为2D图像)


RasterizeCudaContext 的使用,解析了一下nvdiffrast_render, 光栅化就是将3D模型向不同的2D图像方向投影。

主要使用dr.rasterize 这一步进行具体执行

复制代码
rast_out, _ = dr.rasterize(glctx, pos_clip, pos_idx, resolution=np.asarray(output_size))

mustard0 的demo为例

glctx 是dr.RasterizeCudaContext()类

pos_clip 维度 [252, 10983, 4] , 252个方向,顶点数10983个len(mesh.vertices),4个通道?

pos_idx 维度 [15728, 3], ,15728是网格面的数量len(mesh.faces) ,每行表示形成面的顶点的索引,意思是三个点成一个面

resolution = [160,160] , 期望输出的2D图像维度

得到的 rast_out 维度 (252, 160, 160, 4), 252个光栅化后的方向,每个图160*160, 4个通道(RGB +透明)

代码中进行了252个方向的光栅化投影,可能就是论文中提到的,粗略姿态方向。

以下是其中3个方向

颜色通道暂时没查出来在mesh中是怎么个储存形式,有个这:

复制代码
mesh.visual.material.image 如下所示,RGB和BGR反了

后面就是正常的输入图片和预测姿态,如果是第一帧 ,会使用物体的mask信息进行register

bash 复制代码
    if i==0:
      mask = reader.get_mask(0).astype(bool)
      pose = est.register(K=reader.K, rgb=color, depth=depth, ob_mask=mask, iteration=args.est_refine_iter)

如果不是第一帧 ,会使用track_one ,根据前面的估计结果进行调整

相关推荐
2401_8414956413 小时前
【计算机视觉】基于复杂环境下的车牌识别
人工智能·python·算法·计算机视觉·去噪·车牌识别·字符识别
Jonkin-Ma13 小时前
每日算法(1)之单链表
算法
晚风残14 小时前
【C++ Primer】第六章:函数
开发语言·c++·算法·c++ primer
杨云强14 小时前
离散积分,相同表达式数组和公式
算法
地平线开发者14 小时前
征程 6 | BPU trace 简介与实操
算法·自动驾驶
满天星830357714 小时前
【C++】AVL树的模拟实现
开发语言·c++·算法·stl
Lris-KK15 小时前
力扣Hot100--94.二叉树的中序遍历、144.二叉树的前序遍历、145.二叉树的后序遍历
python·算法·leetcode
麦麦鸡腿堡15 小时前
Java的动态绑定机制(重要)
java·开发语言·算法
zy_destiny16 小时前
【工业场景】用YOLOv8实现抽烟识别
人工智能·python·算法·yolo·机器学习·计算机视觉·目标跟踪
坚持编程的菜鸟16 小时前
LeetCode每日一题——螺旋矩阵
c语言·算法·leetcode·矩阵