学术与应用两开花——RTMO & RTMW 工作介绍与 MMPose 使用经验分享

【OpenMMLab 社区开放麦】开播啦!!!技术下饭番追起来,每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时,也非常鼓励社区同学拿起话筒登上舞台,社区知识开放麦等你来玩~

本期精彩速递

人体姿态估计一直是计算机视觉领域的核心任务之一。去年,RTMPose 发布以后,作为该领域内将速度-精度平衡做到最好的高性能实时姿态估计模型,深受学术界和工业界社区用户的喜爱。但是,作为二阶段模型,RTMPose 推理时间随画面中人数增加,在多人场景下难以做到实时推理。此外,随着 AIGC 领域的迅猛发展,全身姿态估计对于 Pose-guided 图像生成而言至关重要,精准的全身姿态估计可以极大改善 AI 生成的人像手部失真问题。

针对这些需求,MMPose 团队推出了全新的 RTMPose 模型------单阶段模型 RTMO 和全身姿态估计模型 RTMW。RTMO 在多人场景下能稳定地进行实时推理,且在多人拥挤场景能达到 SOTA 水平;RTMW 首次在 COCO-Wholebody 上取得高于 70 的 AP,其手部关键点检测精度更是远远高于之前的全身姿态估计模型。本次社区开放麦,特别邀请到 MMPose 团队带来 RTMPose 模型的精彩分享, 团队会首先介绍 RTMO 和 RTMW 的原理和使用方式。最后,将会分享如何用 MMPose 研发 SOTA 算法的技巧和心得。

更多精彩内容请锁定本周四晚 20:00 的社区开放麦直播。

分享大纲

  • 单阶段实时多人姿态估计 SOTA 方法 RTMO

  • 全身姿态估计 SOTA 方法 RTMW

  • 如何用 MMPose 研发新算法

分享时间

北京时间

2023 年 1 月 18 日(周四)

20: 00 - 20: 40(分享)

20: 40 - 21: 00(Q&A)

分享嘉宾

Lupeng:清华深研院研究生,MMPose 开发者

Tau:MMPose 负责人,香港中文大学计算机硕士,主要研究方向为 Human-centric 感知任务与大语言模型。知乎id:镜子。

内容详情

单阶段实时多人姿态估计RTMO

目前主流的实时姿态估计工具都是基于二阶段自顶向下(e.g. RTMPose, TinyPose)或者单阶段(e.g. YOLO-Pose)架构的。前者推理时间随人数增长,后者目前精度还比较低。RTMO 将 RTMPose 的坐标分类方法与 YOLOX 架构进行了结合,将 YOLO 架构的单阶段姿态估计模型的精度提升到了和二阶段模型 RTMPose 相近的水平,同时保持了在多人场景中的实时推理速度。

本次分享中,MMPose 团队会介绍 RTMO 的两个核心机制(动态坐标分类机制、基于极大似然估计设计的坐标分类损失函数)的设计思路、结构细节,以及在将坐标分类方法与 YOLO 架构结合过程中碰到的问题及解决方式。

全身姿态估计RTMW

针对全身姿态估计场景,MMPose 团队对原本的 RTMPose 结构进行了优化,极大提升了全身姿态估计的精度。我们将介绍 RTMW 的模型结构、数据组织方式,并分享全身姿态估计优化的经验和总结。

用 MMPose 做算法研发的 tips

最后,我们会分享如何用 MMPose 进行算法研发,包括

  • 如何方便地进行对比实验

  • 如何进行姿态估计模型部署和测速

  • 如何用 MMPose 进行多数据集混合训练探索模型的性能极限

  • ...

更多精彩内容,请锁定本周四晚 20:00 社区开放麦直播间,现场为你揭秘 RTMPose 模型的神秘面纱。

相关工作

交流群

同时为了方便大家交流沟通,我们建立了相关的交流群,本期分享的大佬也在群里哦,可与大佬进行 1v1 沟通 ,扫码即可入群~

相关推荐
kymjs张涛26 分钟前
OpenClaw 学习小组:初识
android·linux·人工智能
yangpow227 分钟前
拆解 OpenClaw 的 Skills 机制:一个为 AI Agent 设计的"包管理器"
人工智能
warm3snow44 分钟前
AI 重塑产品管理工具:从 Jira 到智能体项目经理的终极演进
人工智能·ai·excel·项目管理·飞书·产品经理·jira·协同·tapd
吴佳浩1 小时前
OpenClaw macOS 完整安装与本地模型配置教程(实战版)
人工智能·macos·agent
吴佳浩1 小时前
OpenClaw 2026.3.2 — 2026.3.8 权限变更与安全加固
人工智能·openai·agent
左右用AI2 小时前
将openclaw接入飞书:10分钟,让你的AI员工直接操作你的文档和表格!
人工智能
Div布局师2 小时前
AI Agent 技术栈选型:入门只需要这些
aigc·ai编程
Div布局师2 小时前
测试与调试:怎么验证你的 AI Agent 真的能用
aigc·ai编程
Div布局师2 小时前
实战篇:AI Agent 后端实现细节
aigc
量子位2 小时前
卡帕西开源Agent自进化训练框架,5分钟一轮实验,48h内揽星9.5k
aigc·agent