学术与应用两开花——RTMO & RTMW 工作介绍与 MMPose 使用经验分享

【OpenMMLab 社区开放麦】开播啦!!!技术下饭番追起来,每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时,也非常鼓励社区同学拿起话筒登上舞台,社区知识开放麦等你来玩~

本期精彩速递

人体姿态估计一直是计算机视觉领域的核心任务之一。去年,RTMPose 发布以后,作为该领域内将速度-精度平衡做到最好的高性能实时姿态估计模型,深受学术界和工业界社区用户的喜爱。但是,作为二阶段模型,RTMPose 推理时间随画面中人数增加,在多人场景下难以做到实时推理。此外,随着 AIGC 领域的迅猛发展,全身姿态估计对于 Pose-guided 图像生成而言至关重要,精准的全身姿态估计可以极大改善 AI 生成的人像手部失真问题。

针对这些需求,MMPose 团队推出了全新的 RTMPose 模型------单阶段模型 RTMO 和全身姿态估计模型 RTMW。RTMO 在多人场景下能稳定地进行实时推理,且在多人拥挤场景能达到 SOTA 水平;RTMW 首次在 COCO-Wholebody 上取得高于 70 的 AP,其手部关键点检测精度更是远远高于之前的全身姿态估计模型。本次社区开放麦,特别邀请到 MMPose 团队带来 RTMPose 模型的精彩分享, 团队会首先介绍 RTMO 和 RTMW 的原理和使用方式。最后,将会分享如何用 MMPose 研发 SOTA 算法的技巧和心得。

更多精彩内容请锁定本周四晚 20:00 的社区开放麦直播。

分享大纲

  • 单阶段实时多人姿态估计 SOTA 方法 RTMO

  • 全身姿态估计 SOTA 方法 RTMW

  • 如何用 MMPose 研发新算法

分享时间

北京时间

2023 年 1 月 18 日(周四)

20: 00 - 20: 40(分享)

20: 40 - 21: 00(Q&A)

分享嘉宾

Lupeng:清华深研院研究生,MMPose 开发者

Tau:MMPose 负责人,香港中文大学计算机硕士,主要研究方向为 Human-centric 感知任务与大语言模型。知乎id:镜子。

内容详情

单阶段实时多人姿态估计RTMO

目前主流的实时姿态估计工具都是基于二阶段自顶向下(e.g. RTMPose, TinyPose)或者单阶段(e.g. YOLO-Pose)架构的。前者推理时间随人数增长,后者目前精度还比较低。RTMO 将 RTMPose 的坐标分类方法与 YOLOX 架构进行了结合,将 YOLO 架构的单阶段姿态估计模型的精度提升到了和二阶段模型 RTMPose 相近的水平,同时保持了在多人场景中的实时推理速度。

本次分享中,MMPose 团队会介绍 RTMO 的两个核心机制(动态坐标分类机制、基于极大似然估计设计的坐标分类损失函数)的设计思路、结构细节,以及在将坐标分类方法与 YOLO 架构结合过程中碰到的问题及解决方式。

全身姿态估计RTMW

针对全身姿态估计场景,MMPose 团队对原本的 RTMPose 结构进行了优化,极大提升了全身姿态估计的精度。我们将介绍 RTMW 的模型结构、数据组织方式,并分享全身姿态估计优化的经验和总结。

用 MMPose 做算法研发的 tips

最后,我们会分享如何用 MMPose 进行算法研发,包括

  • 如何方便地进行对比实验

  • 如何进行姿态估计模型部署和测速

  • 如何用 MMPose 进行多数据集混合训练探索模型的性能极限

  • ...

更多精彩内容,请锁定本周四晚 20:00 社区开放麦直播间,现场为你揭秘 RTMPose 模型的神秘面纱。

相关工作

交流群

同时为了方便大家交流沟通,我们建立了相关的交流群,本期分享的大佬也在群里哦,可与大佬进行 1v1 沟通 ,扫码即可入群~

相关推荐
小于小于大橙子2 小时前
视觉SLAM数学基础
人工智能·数码相机·自动化·自动驾驶·几何学
封步宇AIGC4 小时前
量化交易系统开发-实时行情自动化交易-3.4.2.Okex行情交易数据
人工智能·python·机器学习·数据挖掘
封步宇AIGC4 小时前
量化交易系统开发-实时行情自动化交易-2.技术栈
人工智能·python·机器学习·数据挖掘
陌上阳光4 小时前
动手学深度学习68 Transformer
人工智能·深度学习·transformer
OpenI启智社区4 小时前
共筑开源技术新篇章 | 2024 CCF中国开源大会盛大开幕
人工智能·开源·ccf中国开源大会·大湾区
AI服务老曹4 小时前
建立更及时、更有效的安全生产优化提升策略的智慧油站开源了
大数据·人工智能·物联网·开源·音视频
YRr YRr4 小时前
PyTorch:torchvision中的dataset的使用
人工智能
love_and_hope5 小时前
Pytorch学习--神经网络--完整的模型训练套路
人工智能·pytorch·python·深度学习·神经网络·学习
思通数据5 小时前
AI与OCR:数字档案馆图像扫描与文字识别技术实现与项目案例
大数据·人工智能·目标检测·计算机视觉·自然语言处理·数据挖掘·ocr
兔老大的胡萝卜5 小时前
关于 3D Engine Design for Virtual Globes(三维数字地球引擎设计)
人工智能·3d