学术与应用两开花——RTMO & RTMW 工作介绍与 MMPose 使用经验分享

【OpenMMLab 社区开放麦】开播啦!!!技术下饭番追起来,每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时,也非常鼓励社区同学拿起话筒登上舞台,社区知识开放麦等你来玩~

本期精彩速递

人体姿态估计一直是计算机视觉领域的核心任务之一。去年,RTMPose 发布以后,作为该领域内将速度-精度平衡做到最好的高性能实时姿态估计模型,深受学术界和工业界社区用户的喜爱。但是,作为二阶段模型,RTMPose 推理时间随画面中人数增加,在多人场景下难以做到实时推理。此外,随着 AIGC 领域的迅猛发展,全身姿态估计对于 Pose-guided 图像生成而言至关重要,精准的全身姿态估计可以极大改善 AI 生成的人像手部失真问题。

针对这些需求,MMPose 团队推出了全新的 RTMPose 模型------单阶段模型 RTMO 和全身姿态估计模型 RTMW。RTMO 在多人场景下能稳定地进行实时推理,且在多人拥挤场景能达到 SOTA 水平;RTMW 首次在 COCO-Wholebody 上取得高于 70 的 AP,其手部关键点检测精度更是远远高于之前的全身姿态估计模型。本次社区开放麦,特别邀请到 MMPose 团队带来 RTMPose 模型的精彩分享, 团队会首先介绍 RTMO 和 RTMW 的原理和使用方式。最后,将会分享如何用 MMPose 研发 SOTA 算法的技巧和心得。

更多精彩内容请锁定本周四晚 20:00 的社区开放麦直播。

分享大纲

  • 单阶段实时多人姿态估计 SOTA 方法 RTMO

  • 全身姿态估计 SOTA 方法 RTMW

  • 如何用 MMPose 研发新算法

分享时间

北京时间

2023 年 1 月 18 日(周四)

20: 00 - 20: 40(分享)

20: 40 - 21: 00(Q&A)

分享嘉宾

Lupeng:清华深研院研究生,MMPose 开发者

Tau:MMPose 负责人,香港中文大学计算机硕士,主要研究方向为 Human-centric 感知任务与大语言模型。知乎id:镜子。

内容详情

单阶段实时多人姿态估计RTMO

目前主流的实时姿态估计工具都是基于二阶段自顶向下(e.g. RTMPose, TinyPose)或者单阶段(e.g. YOLO-Pose)架构的。前者推理时间随人数增长,后者目前精度还比较低。RTMO 将 RTMPose 的坐标分类方法与 YOLOX 架构进行了结合,将 YOLO 架构的单阶段姿态估计模型的精度提升到了和二阶段模型 RTMPose 相近的水平,同时保持了在多人场景中的实时推理速度。

本次分享中,MMPose 团队会介绍 RTMO 的两个核心机制(动态坐标分类机制、基于极大似然估计设计的坐标分类损失函数)的设计思路、结构细节,以及在将坐标分类方法与 YOLO 架构结合过程中碰到的问题及解决方式。

全身姿态估计RTMW

针对全身姿态估计场景,MMPose 团队对原本的 RTMPose 结构进行了优化,极大提升了全身姿态估计的精度。我们将介绍 RTMW 的模型结构、数据组织方式,并分享全身姿态估计优化的经验和总结。

用 MMPose 做算法研发的 tips

最后,我们会分享如何用 MMPose 进行算法研发,包括

  • 如何方便地进行对比实验

  • 如何进行姿态估计模型部署和测速

  • 如何用 MMPose 进行多数据集混合训练探索模型的性能极限

  • ...

更多精彩内容,请锁定本周四晚 20:00 社区开放麦直播间,现场为你揭秘 RTMPose 模型的神秘面纱。

相关工作

交流群

同时为了方便大家交流沟通,我们建立了相关的交流群,本期分享的大佬也在群里哦,可与大佬进行 1v1 沟通 ,扫码即可入群~

相关推荐
火山引擎开发者社区38 分钟前
七夕漫谈|向量检索界的超强 CP:DiskANN 铺路,RaBitQ 加速,又准又快还能省
人工智能
孙启超3 小时前
【大模型应用开发】LLM 到底是什么,以及它是怎么训练的
人工智能·lora·llm·微调·sft·token·rlhf
新知图书3 小时前
7.1 需求分析与规划 《AI Agent智能体开发实践》
人工智能·agent·ai agent·智能体
怕浪猫3 小时前
一行行拆解 agent-loop:AI Agent 的"思考循环"到底是怎么转的
aigc·openai·agent
clorinda3 小时前
机器学习文本分类入门:从数据清洗到中文评论词向量转换
人工智能
小宋10213 小时前
Dify 知识库实战:从 PDF 导入到带引用回答,完整搭建企业问答助手
人工智能·ai编程
用户938515635075 小时前
从Vibe Coding到SDD:规范驱动开发如何拯救AI编程失控
人工智能
蓝速科技5 小时前
蓝速科技桌面 AI 双屏翻译机:开放安卓系统商用价值解析
人工智能·科技
博、、5 小时前
社区家政平台开发实战指南:从需求分析到系统部署全流程解析
人工智能·数据挖掘·需求分析
Python私教5 小时前
别急着加 llms.txt:企业官网面向 AI 搜索的工程清单
前端·人工智能·seo