CVPR2023新作:3D人体姿态估计

  1. Title: 3D Human Pose Estimation via Intuitive Physics

  2. Affiliation: Max Planck Institute for Intelligent Systems, Tübingen, Germany

  3. Authors: Shashank Tripathi, Lea Müller, Chun-Hao P. Huang, Omid Taheri, Michael J. Black, Dimitrios Tzionas

  4. Keywords: 3D human pose estimation, physics engine, intuitive-physics terms, pressure heatmap, stable configuration.

  5. Summary:

  • (1): 本文的研究背景是3D人体姿态的估计。

  • (2): 过去的方法忽略了人体与场景的交互,导致估计到的结果往往不够精准、不符合物理规律。本文提出了IPMAN,这一方法具有可解释性、易于实现、计算速度快、可由基于优化和回归的现有方法轻松调用等特点。

  • (3): 本文提出了一种直观物理学(IP)的思想,从3D SMPL Body与场景的交互中推断出身体上的压力热图、压力中心和SMPL Body的重心。并且根据这些信息,用IPMAN估计出色彩图像中的3D人体姿态,从而实现姿态在物理上的"稳定"。 本文的方法是通过于SMPL Body的物理学、以及把压力热图、压力中心、SMPL Body的重心考虑进去,这一具有鲜明特色的方法实现的。

  • (4): 本文在多个数据集上验证了IPMAN的性能,结果显示IPMAN的表现优于目前最先进的方法,并且在提高静态姿势准确率的同时也不会损害动态姿势的准确性。文章提供了IPMAN源代码和数据,同时发表在了CVPR会议上。

  1. Methods:
  • (1): 本文提出的方法是利用直观物理学(IP)的思想,从3D SMPL Body与场景的交互中推断出身体上的压力热图、压力中心和SMPL Body的重心。通过与SMPL Body的物理学、以及考虑压力热图、压力中心、SMPL Body的重心,得出一个具有鲜明特色的3D人体姿态估计方法IPMAN。

  • (2): 在IPMAN中,压力热图用于表示3D SMPL Body与场景之间的接触,压力中心表示场景施加的力影响着身体的哪些部位,而SMPL Body的重心(通过计算所有顶点的加权平均)有助于保持姿势的稳定性。

  • (3): IPMAN方法在预测3D人体姿态时,先利用现有的2D关键点检测器检测得到2D关键点,并根据这些关键点构建输入坐标图,这个输入坐标图可以被用于预测3D人体姿态。根据陆续输入的样本,模型可以自适应地学习更好的姿态估计。

  • (4): 为了证明IPMAN的优越性,本文的作者在几个数据集上进行了实验,结果显示IPMAN比现有方法更好地估计了3D人体姿态。注意到我们的方法不仅提高了静态姿势估计的准确性,而且在动态情况下同样有效。

  1. Conclusion:
  • (1): 本文提出了一种利用直观物理学来估计3D人体姿态的方法,能够更好地推断出身体的稳定姿态,提高静态姿态准确率的同时不会影响动态姿态的准确性。这项工作对于人体活动分析、运动医学和虚拟现实等领域具有重要意义。

  • (2): 创新点:本文利用直观物理学的思想,设计了一种新的3D人体姿态估计方法,通过压力热图、压力中心和SMPL Body的重心来推断身体的稳定姿态;

性能:本文的实验结果表明所提出的IPMAN方法在多个数据集上比现有方法表现更优,不仅提高了姿态准确性,还保持了计算速度快的特点;

工作量:文章提供了IPMAN方法的源代码和数据集,可以方便地应用于现有的优化和回归方法,具有易于实现的特点。

相关推荐
DisonTangor4 分钟前
【2B篇】阿里通义 Qwen3-VL 新增 2B、32B 两个模型尺寸,手机也能轻松运行
人工智能·计算机视觉·语言模型·开源·aigc
武子康39 分钟前
DeepSeek-OCR 原理剖析|上下文光学压缩、Gundam 动态分辨率与并发预期 附代码
深度学习·aigc·deepseek
StarPrayers.1 小时前
神经网络中的 HWC→CHW 格式转换
人工智能·深度学习·神经网络
m0_650108242 小时前
【论文精读】FDGaussian:基于几何感知扩散模型的单图快速高斯溅射 3D 重建
计算机视觉·扩散模型·论文精读·3d重建·高斯溅射
浆果02072 小时前
【图像超分】论文复现:轻量化超分 | RLFN的Pytorch源码复现,跑通源码,整合到EDSR-PyTorch中进行训练、测试
人工智能·python·深度学习·超分辨率重建·1024程序员节
不良人龍木木2 小时前
云图-地基云图
图像处理·算法·计算机视觉·1024程序员节
yiyeyeshenlan2 小时前
WSL2调用摄像头并使用OpenCV
深度学习·ubuntu
CV实验室2 小时前
TPAMI 2025 | 从分离到融合:新一代3D场景技术实现双重能力提升!
人工智能·计算机视觉·3d
加油吧zkf3 小时前
深度可分离卷积
人工智能·python·深度学习·神经网络·计算机视觉
DKunYu3 小时前
2.2softmax回归
pytorch·python·深度学习·1024程序员节