学术与应用两开花——RTMO & RTMW 工作介绍与 MMPose 使用经验分享

【OpenMMLab 社区开放麦】开播啦!!!技术下饭番追起来,每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时,也非常鼓励社区同学拿起话筒登上舞台,社区知识开放麦等你来玩~

本期精彩速递

人体姿态估计一直是计算机视觉领域的核心任务之一。去年,RTMPose 发布以后,作为该领域内将速度-精度平衡做到最好的高性能实时姿态估计模型,深受学术界和工业界社区用户的喜爱。但是,作为二阶段模型,RTMPose 推理时间随画面中人数增加,在多人场景下难以做到实时推理。此外,随着 AIGC 领域的迅猛发展,全身姿态估计对于 Pose-guided 图像生成而言至关重要,精准的全身姿态估计可以极大改善 AI 生成的人像手部失真问题。

针对这些需求,MMPose 团队推出了全新的 RTMPose 模型------单阶段模型 RTMO 和全身姿态估计模型 RTMW。RTMO 在多人场景下能稳定地进行实时推理,且在多人拥挤场景能达到 SOTA 水平;RTMW 首次在 COCO-Wholebody 上取得高于 70 的 AP,其手部关键点检测精度更是远远高于之前的全身姿态估计模型。本次社区开放麦,特别邀请到 MMPose 团队带来 RTMPose 模型的精彩分享, 团队会首先介绍 RTMO 和 RTMW 的原理和使用方式。最后,将会分享如何用 MMPose 研发 SOTA 算法的技巧和心得。

更多精彩内容请锁定本周四晚 20:00 的社区开放麦直播。

分享大纲

  • 单阶段实时多人姿态估计 SOTA 方法 RTMO

  • 全身姿态估计 SOTA 方法 RTMW

  • 如何用 MMPose 研发新算法

分享时间

北京时间

2023 年 1 月 18 日(周四)

20: 00 - 20: 40(分享)

20: 40 - 21: 00(Q&A)

分享嘉宾

Lupeng:清华深研院研究生,MMPose 开发者

Tau:MMPose 负责人,香港中文大学计算机硕士,主要研究方向为 Human-centric 感知任务与大语言模型。知乎id:镜子。

内容详情

单阶段实时多人姿态估计RTMO

目前主流的实时姿态估计工具都是基于二阶段自顶向下(e.g. RTMPose, TinyPose)或者单阶段(e.g. YOLO-Pose)架构的。前者推理时间随人数增长,后者目前精度还比较低。RTMO 将 RTMPose 的坐标分类方法与 YOLOX 架构进行了结合,将 YOLO 架构的单阶段姿态估计模型的精度提升到了和二阶段模型 RTMPose 相近的水平,同时保持了在多人场景中的实时推理速度。

本次分享中,MMPose 团队会介绍 RTMO 的两个核心机制(动态坐标分类机制、基于极大似然估计设计的坐标分类损失函数)的设计思路、结构细节,以及在将坐标分类方法与 YOLO 架构结合过程中碰到的问题及解决方式。

全身姿态估计RTMW

针对全身姿态估计场景,MMPose 团队对原本的 RTMPose 结构进行了优化,极大提升了全身姿态估计的精度。我们将介绍 RTMW 的模型结构、数据组织方式,并分享全身姿态估计优化的经验和总结。

用 MMPose 做算法研发的 tips

最后,我们会分享如何用 MMPose 进行算法研发,包括

  • 如何方便地进行对比实验

  • 如何进行姿态估计模型部署和测速

  • 如何用 MMPose 进行多数据集混合训练探索模型的性能极限

  • ...

更多精彩内容,请锁定本周四晚 20:00 社区开放麦直播间,现场为你揭秘 RTMPose 模型的神秘面纱。

相关工作

交流群

同时为了方便大家交流沟通,我们建立了相关的交流群,本期分享的大佬也在群里哦,可与大佬进行 1v1 沟通 ,扫码即可入群~

相关推荐
船厂电气自动化ai大模型10 分钟前
AI大模型与数学 第32课 函数凹凸性与二阶导数:拐点求解、凹凸区间计算(10道二阶导数计算题)
数据结构·人工智能·python·深度学习·算法
张彦峰ZYF16 分钟前
LangGraph 深入理解 ReAct:让 AI Agent 真正学会「边想边做」
人工智能·llm·agent·react·langgroup
~央千澈~26 分钟前
从“拟声”到“生成”:AI音效背后的技术原理·优雅草AI音乐·AI音乐技术研究
大数据·人工智能·ai·音频
啾啾Fun35 分钟前
【AI原生组织】6-AI Native团队组建与基础设施搭建
人工智能·chatgpt·ai-native·ai agent·ai原生组织·人机混编
IT_陈寒37 分钟前
Redis集群这个坑,差点让我通宵
前端·人工智能·后端
Elastic 中国社区官方博客37 分钟前
Elasticsearch:使用 AI Agent 来创建 workflow
大数据·运维·人工智能·elasticsearch·搜索引擎·自动化·全文检索
阿图灵1 小时前
Agentic AI 架构入门(九):Agent 通信协议全景——ACP/A2A/AG-UI/MCP
人工智能·ui·架构·ai agent·智能体·mcp·agentic ai
阿里云大数据AI技术1 小时前
AI Search+ES 9.4.X最佳实践:“更快、更准、更安全的企业级搜索引擎”"为AI Agent提供坚实底座”
人工智能·elasticsearch·agent
575771 小时前
AI搜索品牌曝光怎么做?从结构化数据到可引用内容的工程路径
人工智能
Hrain-AI1 小时前
2026 编码智能体三强对比:Trae/Qoder CN/CodeBuddy 安全护栏
人工智能·安全