【机器人】复现 GrainGrasp 精细指导的灵巧手抓取

GrainGrasp 为每个手指提供细粒度的接触指导,为灵巧手生成精细的抓取策略。

通过单独调整每个手指的接触来实现更稳定的抓取,从而提供了更接近人类能力的抓取指导。

论文地址:GrainGrasp: Dexterous Grasp Generation with Fine-grained Contact Guidance

代码地址:https://github.com/wmtlab/GrainGrasp

看一下抓取效果:

看一物体CAD的抓取效果

不同视角观察:

1、创建Conda环境

首先创建一个Conda环境,名字为GrainGrasp,python版本为3.9

然后进入GrainGrasp环境

bash 复制代码
conda create -n GrainGrasp python=3.9
conda activate GrainGrasp

2、安装PyTorch

我们使用的版本是pytorch==2.0.1+cu118

执行下面命令进行安装:

bash 复制代码
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.8 -c pytorch -c nvidia

3、安装GrainGrasp依赖库

下载GrainGrasp代码,然后进行GrainGrasp-main目录中

代码地址:https://github.com/wmtlab/GrainGrasp

创建一个文件requirements.txt,编写内容:

bash 复制代码
numpy==1.23.0
open3d==0.17.0
trimesh==4.1.7
attrdict==2.0.1
mano
chumpy==0.70

开始安装啦

bash 复制代码
pip install -r requirements.txt  -i https://pypi.tuna.tsinghua.edu.cn/simple

等待安装完成~

4、安装pytorch3d

访问 PyTorch3D 官方下载页面,找到与我们的环境匹配的 PyTorch3D 0.7.5 安装包

名称:pytorch3d-0.7.5-py39_cu118_pyt201.tar.bz2

然后下载并安装:

bash 复制代码
conda install pytorch3d-0.7.5-py39_cu118_pyt201.tar.bz2

5、模型推理

首先从MANO网站下载MANO模型文件(MANO_LEFT.pkl、MANO_RIGHT.pkl),到mano/models/目录中

手部支持的自由度:

这个配置文件整合了多个模块的路径和参数设置,用于手部和物体的 3D 重建和姿态估计任务。

每个模块的配置都包含了必要的路径和训练参数,以便在实际运行时能够正确加载数据和模型,并进行有效的训练和测试。

运行示例1:

bash 复制代码
python run_complete.py -i=8 -s=1234

看一下抓取效果:

看一物体CAD的抓取效果:

run_complete.py 源代码:

python 复制代码
import os
import time
import torch
import trimesh
import argparse
import numpy as np
import open3d as o3d
from utils import annotate
from utils import vis
from utils import tools
from config import cfgs
from GrainGrasp import GrainGrasp


if __name__ == "__main__":
    # 设置设备为 GPU 或 CPU
    device = "cuda" if torch.cuda.is_available() else "cpu"
    
    # 创建命令行参数解析器
    parge = argparse.ArgumentParser(description="GrainGrasp")
    parge.add_argument("--idx", "-i", type=int, default=2, help="物体的索引")
    parge.add_argument("--epochs", "-e", type=int, default=300, help="优化的轮数")
    parge.add_argument("--threshold", "-t", type=float, default=0.0, help="阈值")
    parge.add_argument("--select", "-s", type=str, default="12345", help="选择的手指索引,最多5根手指:12345")
    parge.add_argument("--vis_pc", "-vp", type=bool, default=True, help="是否可视化点云")
    parge.add_argument("--vis_mesh", "-vm", type=bool, default=True, help="是否可视化网格")
    parge.add_argument("--vis_process", "-vprocess", type=bool, default=True, help="是否可视化优化过程")
    args = parge.parse_args()
    
    # 将选择的手指索引从字符串转换为整数列表
    select_finger_idx = list(map(lambda x: int(x), args.select))
    
    # 从配置文件中获取采样点数量
    sample_points_num = cfgs.obman_config.sample_points_num
    
    # 加载物体的三维网格模型
    obj_path = os.path.join("sample", str(args.idx), "obj_mesh.obj")
    obj_mesh = trimesh.load_mesh(obj_path)
    
    # 从网格中采样点云数据(备用方法)
    # obj_pc = tools.pc_sample(obj_mesh, sample_points_num)
    
    # 从文件加载点云数据
    obj_pc_path = os.path.join("sample", str(args.idx), "obj_pc.npy")  # 点云数据形状为 [3, 3000]
    obj_pc = np.load(obj_pc_path).T  # 转置为 [3000, 3]
    obj_pc = torch.Tensor(obj_pc)  # 转换为 PyTorch 张量
    
    # 初始化 GrainGrasp 模型
    grain_grasp = GrainGrasp(cfgs.dcog_config, cfgs.cvae_model_path, device)
    
    # 开始计时
    time_start = time.time()
    
    # 执行推理过程,获取抓取姿态优化结果
    result = grain_grasp.inference_complete(
        obj_pc,
        epochs=args.epochs,
        select_finger_idx=select_finger_idx,
        threshold=args.threshold,
    )
    
    print("运行时间是 {:.2f} 秒".format(time.time() - time_start))
    print("能量值为 ", result.E_pen)
    print("最小能量索引为 ", result.min_idx)
    
    hand_pc_final = result.min_idx_hand_pc # 获取优化后的手部点云数据
    hand_face = grain_grasp.dcog_model.rh_faces[0].cpu() # 获取手部网格的面数据
    hand_color = annotate.get_finger_colors(hand_pc_final) # 为手部点云数据分配颜色
    
    # 创建手部网格的 Open3D对象
    hand_mesh_o3d = vis.get_o3d_mesh(hand_pc_final, hand_face, [0, 0.8, 1], hand_color)
    obj_colors_true = annotate.get_obj_colors(result.obj_cls.cpu()) # 为物体点云数据分配颜色
    obj_pcd = vis.get_o3d_pcd(obj_pc.cpu().detach(), obj_colors_true)
    obj_mesh_o3d = vis.trimesh2o3d(obj_mesh)
    
    # 如果设置为可视化点云,则显示手部和物体点云
    if args.vis_pc:
        vis.vis_HandObject([hand_mesh_o3d], [obj_pcd])
    
    # 如果设置为可视化网格,则显示手部和物体网格
    if args.vis_mesh:
        vis.vis_HandObject([hand_mesh_o3d], [obj_mesh_o3d])
    
    # 如果设置为可视化优化过程,则显示优化过程
    if args.vis_process:
        record_hand_pc = result.min_idx_record_hand_pc
        record_handmesh_o3d = vis.get_o3d_mesh(record_hand_pc[0], hand_face, [0, 0.8, 1], hand_color)
        vis.vis_GraspProcess(record_handmesh_o3d, record_hand_pc[1:], obj_mesh_o3d)

思路流程

  1. 设备设置:

    • 检查是否有可用的 GPU 设备,如果有则使用 GPU,否则使用 CPU。
  2. 参数解析:

    • 使用 argparse 解析命令行参数,设置物体索引、优化轮数、阈值、手指选择、可视化选项等。
  3. 数据加载:

    • 加载物体的三维网格模型(obj_mesh.obj)。

    • 从文件加载物体点云数据(obj_pc.npy),并将其转换为 PyTorch 张量。

  4. 模型初始化:

    • 初始化 GrainGrasp 模型,加载预训练模型路径(cfgs.cvae_model_path)。
  5. 推理过程:

    • 调用模型的 inference_complete 方法进行抓取姿态优化。

    • 传入物体点云数据、优化轮数、手指索引和阈值等参数。

    • 计算运行时间并输出优化结果(能量值和最小能量索引)。

  6. 结果可视化:

    • 将优化后的手部点云数据和物体点云/网格模型进行可视化。

    • 如果设置为可视化点云,则显示手部网格和物体点云。

    • 如果设置为可视化网格,则显示手部网格和物体网格。

    • 如果设置为可视化优化过程,则显示优化过程中的手部姿态变化。

运行示例2:

bash 复制代码
python run_only_opt.py -i=4 -s=134

看一下抓取效果

看一物体CAD的抓取效果:

run_only_opt.py 源代码:

python 复制代码
import os
import time
import torch
import trimesh
import argparse
import numpy as np
import open3d as o3d
from utils import annotate
from utils import vis
from utils import tools
from utils import Load_obman
from config import cfgs
from GrainGrasp import GrainGrasp


if __name__ == "__main__":
    # 设置设备为 GPU 或 CPU
    device = "cuda" if torch.cuda.is_available() else "cpu"
    
    # 初始化命令行参数解析器
    parge = argparse.ArgumentParser(description="GrainGrasp")
    parge.add_argument("--idx", "-i", type=int, default=2, help="物体的索引")
    parge.add_argument("--epochs", "-e", type=int, default=300, help="优化的轮数")
    parge.add_argument("--K", "-k", type=int, default=50, help="优化过程中的参数 K")
    parge.add_argument("--threshold", "-t", type=float, default=0.0, help="优化过程中的阈值")
    parge.add_argument("--select", "-s", type=str, default="12345", help="选择的手指索引,最多5根手指:12345")
    parge.add_argument("--vis_pc", "-vp", type=bool, default=True, help="是否可视化点云")
    parge.add_argument("--vis_mesh", "-vm", type=bool, default=True, help="是否可视化网格")
    parge.add_argument("--vis_process", "-vprocess", type=bool, default=True, help="是否可视化优化过程")
    args = parge.parse_args()

    # 将选择的手指索引从字符串转换为整数列表
    select_finger_idx = list(map(lambda x: int(x), args.select))
    
    # 从配置文件中获取采样点数量
    sample_points_num = cfgs.obman_config.sample_points_num

    # 构造物体网格模型路径
    obj_path = os.path.join("sample", str(args.idx), "obj_mesh.obj")
    # 加载物体网格模型
    obj_mesh = trimesh.load_mesh(obj_path)
    # 从网格中采样物体点云数据
    obj_pc = tools.pc_sample(obj_mesh, sample_points_num)
    # 构造手部点云数据路径
    hand_pc_path = os.path.join("sample", str(args.idx), "hand_pc.npy")  # [3,3000]

    # 加载手部点云数据
    hand_pc = np.load(hand_pc_path)
    obj_pc = torch.Tensor(obj_pc)
    hand_pc = torch.Tensor(hand_pc)

    # 初始化 GrainGrasp 模型
    grain_grasp = GrainGrasp(cfgs.dcog_config, None, device)
    # 开始计时
    time_start = time.time()
    # 执行优化过程,获取抓取姿态优化结果
    result = grain_grasp.inference_only_opt(
        obj_pc,
        hand_pc=hand_pc,
        K=args.K,
        epochs=args.epochs,
        select_finger_idx=select_finger_idx,
        threshold=args.threshold,
    )

    print("运行时间是 {:.2f} 秒".format(time.time() - time_start))
    print("能量值为 ", result.E_pen)
    print("最小能量索引为 ", result.min_idx)

    # 获取优化后的手部点云数据
    hand_pc_final = result.min_idx_hand_pc
    # 获取手部网格的面数据
    hand_face = grain_grasp.dcog_model.rh_faces[0].cpu()
    # 为手部点云数据分配颜色
    hand_color = annotate.get_finger_colors(hand_pc_final)
    # 创建手部网格的 Open3D 对象
    hand_mesh_o3d = vis.get_o3d_mesh(hand_pc_final, hand_face, [0, 0.8, 1], hand_color)
    # 为物体点云数据分配颜色
    obj_colors_true = annotate.get_obj_colors(result.obj_cls.cpu())
    # 创建物体点云的 Open3D 对象
    obj_pcd = vis.get_o3d_pcd(obj_pc.cpu().detach(), obj_colors_true)
    # 将 Trimesh 格式的物体网格转换为 Open3D 格式
    obj_mesh_o3d = vis.trimesh2o3d(obj_mesh)


    # 如果设置为可视化点云,则显示手部和物体点云
    if args.vis_pc:
        vis.vis_HandObject([hand_mesh_o3d], [obj_pcd])

    # 如果设置为可视化网格,则显示手部和物体网格
    if args.vis_mesh:
        vis.vis_HandObject([hand_mesh_o3d], [obj_mesh_o3d])

    # 如果设置为可视化优化过程,则显示优化过程
    if args.vis_process:
        record_hand_pc = result.min_idx_record_hand_pc
        record_handmesh_o3d = vis.get_o3d_mesh(record_hand_pc[0], hand_face, [0, 0.8, 1], hand_color)
        vis.vis_GraspProcess(record_handmesh_o3d, record_hand_pc[1:], obj_mesh_o3d)

思路流程

  1. 设备设置与参数解析:

    • 检查是否有可用的 GPU 设备,如果有则使用 GPU,否则使用 CPU。

    • 使用 argparse 解析命令行参数,设置物体索引、优化轮数、参数 K、阈值、手指选择、可视化选项等。

  2. 数据加载:

    • 加载物体的三维网格模型(obj_mesh.obj)。

    • 从物体网格模型中采样点云数据(tools.pc_sample)。

    • 从文件加载手部点云数据(hand_pc.npy),并将其转换为 PyTorch 张量。

  3. 模型初始化:

    • 初始化 GrainGrasp 模型,不加载预训练模型路径(None)。
  4. 优化过程:

    • 调用模型的 inference_only_opt 方法进行抓取姿态优化。

    • 传入物体点云数据、手部点云数据、参数 K、优化轮数、手指索引和阈值等参数。

    • 计算运行时间并输出优化结果(能量值和最小能量索引)。

  5. 结果可视化:

    • 将优化后的手部点云数据和物体点云/网格模型进行可视化。

    • 如果设置为可视化点云,则显示手部网格和物体点云。

    • 如果设置为可视化网格,则显示手部网格和物体网格。

    • 如果设置为可视化优化过程,则显示优化过程中的手部姿态变化。

分享完成~

相关推荐
鲁邦通物联网9 小时前
机器人梯控到站状态机设计:楼层匹配、事件时序与任务判断
人工智能·机器人·机器人梯控·agv梯控·非侵入式采集·机器人乘梯·机器人自主乘梯
极客互动API11 小时前
企业微信 API 二次开发:外部群机器人能力边界与实战指南
机器人·企业微信·企业微信二次开发·企业微信api·企业微信sdk·企业微信ipad协议
瓶瓶持续学习中12 小时前
物理AI与具身智能的技术架构区别:从空间建模到机器人动作执行
人工智能·机器人
zkk95272 天前
【机器人动力学】(四):动力学回归与最小参数集
机器人·动力学辨识·最小参数集
wechatbot8883 天前
企业微信外部群聊自动回复机器人开发实战
微信·机器人·企业微信·企业微信scrm·企业微信二次开发·企业微信api
wangxiaoxuan2173 天前
如何设计机器人 API:类型、单位、坐标系与失败语义
机器人·科沃斯八界
深蓝学院3 天前
机器人控制算法 MPC 的预测模型从哪来?完整公式推导
机器人·强化学习·机器人控制
蓝天居士3 天前
ROS2从入门到精通(13)
机器人·ros·ros 2
蓝天居士3 天前
JY61P认识、学习与实战(3)
机器人·嵌入式·传感器
feasibility.3 天前
399美元桌面机器人Doly:可爱电子宠物+树莓派开源平台,但不能像ChatGPT那样聊天
机器人·开源·嵌入式·树莓派·diy·桌宠