HO-3D 数据集

// 由于非刚体的追踪比较困难,所以看看刚体数据集

bash 复制代码
HOnnotate: A method for 3D Annotation of Hand and Object Poses  // cvpr20

https://arxiv.org/abs/1907.01481       
https://github.com/shreyashampali/ho3d
https://paperswithcode.com/paper/ho-3d-a-multi-user-multi-object-dataset-for
https://paperswithcode.com/dataset/ho-3d

dataset

手与物体交互数据集,具有手部和物体的 3D 姿态注释。该数据集包含来自68个序列的66,034张训练图像和11,524张测试图像。这些序列是在多相机和单相机设置中捕获的,并包含 10 个不同的主题,操纵 YCB 数据集中的 10 个不同对象。使用优化算法自动获取注释。测试集的手部姿势注释被保留,测试集上算法的准确性可以使用标准指标使用 CodaLab 挑战提交(参见项目页面)进行评估。测试集和训练集的对象姿态注释与数据集一起提供。

abs

这篇文章介绍了一种名为HOnnotate的方法,用于标注手部和物体姿势的3D图像。该方法解决了在标注手部操纵物体的图像时所面临的相互遮挡的挑战。作者创建了一个名为HO-3D的数据集,这是第一个具有手部和物体3D标注的彩色图像的无标记数据集。通过HO-3D数据集,作者开发了一种基于单个RGB图像的方法,用于推广到训练中未见过的物体。该方法在处理手部和物体之间的相互遮挡方面取得了显著进展,为计算机视觉和姿势估计领域带来了重要意义。

早期的方法通常依赖于多视角摄像机设置和逐帧跟踪方法,可能需要仔细的初始化并且会随时间漂移。一些方法提出了生成方法来跟踪手部与物体的接触点,以进行手持RGB-D物体形状扫描。还有一些方法利用视觉传感器估计手部与物体相互作用期间的接触力,并进而估计手部和物体的姿势。此外,还有一些方法利用物理模拟器和3D渲染器进行帧间跟踪,或者使用协作跟踪器进行多物体和多手部跟踪。这些方法在处理手部和物体姿势估计方面取得了定性较高的准确性,但由于真实世界中的地面真实获取很困难,因此它们通常在合成数据集上评估。

method

HOnnotate方法,用于手部和物体的3D姿势标注。该方法通过在RGB图像上标注手部和物体的关键点来创建HO-3D数据集,其中包含了手部和物体的3D姿势标注。作者介绍了他们的标注方法,并说明了如何利用这些标注数据来训练用于手部姿势估计的深度学习模型。通过HO-3D数据集和HOnnotate方法,作者展示了他们的方法在处理手部和物体姿势估计问题上的有效性和重要性。

benchmark

  • average hand-joint errors (in cm)
  • average mesh error in cm
相关推荐
向宇it2 小时前
【unity组件介绍】URP Decal Projector贴花投影器,将特定材质(贴花)投影到场景中的其他对象上。
游戏·3d·unity·c#·游戏引擎·材质
逐云者1239 小时前
3D Gaussian Splatting (3DGS) 从入门到精通:安装、训练与常见问题全解析
3d·问题·三维重建·高斯泼溅·编译运行
工业3D_大熊9 小时前
HOOPS SDK赋能PLM:打造全生命周期3D数据管理与协作能力
3d·3d web轻量化·3d模型格式转换·3d渲染·3d模型可视化·工业3d·3d模型渲染
小新11017 小时前
3d max 的快捷键
3d
zhongqu_3dnest18 小时前
VR全景园区:开启智慧园区新时代
3d·三维建模·3d楼盘
zhongqu_3dnest20 小时前
什么是3D楼盘?
3d·三维建模·房地产·房产营销·3d楼盘·线上看房
top_designer1 天前
3D材质总监的“光影魔法”:用Substance Sampler AI,“擦除”照片中的光影
人工智能·3d·新媒体运营·aigc·游戏程序·材质·材质设计师
中科米堆1 天前
中科米堆CASAIM手持式三维扫描仪金属铸件三维扫描测量方案
人工智能·3d·自动化·视觉检测
zhongqu_3dnest1 天前
众趣SDK重磅升级:空间物联IOT新视界,赋能实景三维场景深度应用
人工智能·物联网·计算机视觉·3d·点云处理·点云扫描
子燕若水1 天前
在Adobe Substance 3D Painter中,已经有基础图层,如何新建一个图层A,clone基础图层的纹理和内容到A图层
3d·adobe