学术与应用两开花——RTMO & RTMW 工作介绍与 MMPose 使用经验分享

【OpenMMLab 社区开放麦】开播啦!!!技术下饭番追起来,每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时,也非常鼓励社区同学拿起话筒登上舞台,社区知识开放麦等你来玩~

本期精彩速递

人体姿态估计一直是计算机视觉领域的核心任务之一。去年,RTMPose 发布以后,作为该领域内将速度-精度平衡做到最好的高性能实时姿态估计模型,深受学术界和工业界社区用户的喜爱。但是,作为二阶段模型,RTMPose 推理时间随画面中人数增加,在多人场景下难以做到实时推理。此外,随着 AIGC 领域的迅猛发展,全身姿态估计对于 Pose-guided 图像生成而言至关重要,精准的全身姿态估计可以极大改善 AI 生成的人像手部失真问题。

针对这些需求,MMPose 团队推出了全新的 RTMPose 模型------单阶段模型 RTMO 和全身姿态估计模型 RTMW。RTMO 在多人场景下能稳定地进行实时推理,且在多人拥挤场景能达到 SOTA 水平;RTMW 首次在 COCO-Wholebody 上取得高于 70 的 AP,其手部关键点检测精度更是远远高于之前的全身姿态估计模型。本次社区开放麦,特别邀请到 MMPose 团队带来 RTMPose 模型的精彩分享, 团队会首先介绍 RTMO 和 RTMW 的原理和使用方式。最后,将会分享如何用 MMPose 研发 SOTA 算法的技巧和心得。

更多精彩内容请锁定本周四晚 20:00 的社区开放麦直播。

分享大纲

  • 单阶段实时多人姿态估计 SOTA 方法 RTMO

  • 全身姿态估计 SOTA 方法 RTMW

  • 如何用 MMPose 研发新算法

分享时间

北京时间

2023 年 1 月 18 日(周四)

20: 00 - 20: 40(分享)

20: 40 - 21: 00(Q&A)

分享嘉宾

Lupeng:清华深研院研究生,MMPose 开发者

Tau:MMPose 负责人,香港中文大学计算机硕士,主要研究方向为 Human-centric 感知任务与大语言模型。知乎id:镜子。

内容详情

单阶段实时多人姿态估计RTMO

目前主流的实时姿态估计工具都是基于二阶段自顶向下(e.g. RTMPose, TinyPose)或者单阶段(e.g. YOLO-Pose)架构的。前者推理时间随人数增长,后者目前精度还比较低。RTMO 将 RTMPose 的坐标分类方法与 YOLOX 架构进行了结合,将 YOLO 架构的单阶段姿态估计模型的精度提升到了和二阶段模型 RTMPose 相近的水平,同时保持了在多人场景中的实时推理速度。

本次分享中,MMPose 团队会介绍 RTMO 的两个核心机制(动态坐标分类机制、基于极大似然估计设计的坐标分类损失函数)的设计思路、结构细节,以及在将坐标分类方法与 YOLO 架构结合过程中碰到的问题及解决方式。

全身姿态估计RTMW

针对全身姿态估计场景,MMPose 团队对原本的 RTMPose 结构进行了优化,极大提升了全身姿态估计的精度。我们将介绍 RTMW 的模型结构、数据组织方式,并分享全身姿态估计优化的经验和总结。

用 MMPose 做算法研发的 tips

最后,我们会分享如何用 MMPose 进行算法研发,包括

  • 如何方便地进行对比实验

  • 如何进行姿态估计模型部署和测速

  • 如何用 MMPose 进行多数据集混合训练探索模型的性能极限

  • ...

更多精彩内容,请锁定本周四晚 20:00 社区开放麦直播间,现场为你揭秘 RTMPose 模型的神秘面纱。

相关工作

交流群

同时为了方便大家交流沟通,我们建立了相关的交流群,本期分享的大佬也在群里哦,可与大佬进行 1v1 沟通 ,扫码即可入群~

相关推荐
HelpHelp同学10 分钟前
信息混乱难查找?三步搭建高效帮助中心解决难题
大数据·人工智能·知识库管理系统
羑悻的小杀马特2 小时前
OpenCV 引擎:驱动实时应用开发的科技狂飙
人工智能·科技·opencv·计算机视觉
guanshiyishi5 小时前
ABeam 德硕 | 中国汽车市场(2)——新能源车的崛起与中国汽车市场机遇与挑战
人工智能
极客天成ScaleFlash6 小时前
极客天成NVFile:无缓存直击存储性能天花板,重新定义AI时代并行存储新范式
人工智能·缓存
澳鹏Appen7 小时前
AI安全:构建负责任且可靠的系统
人工智能·安全
蹦蹦跳跳真可爱5897 小时前
Python----机器学习(KNN:使用数学方法实现KNN)
人工智能·python·机器学习
视界宝藏库8 小时前
多元 AI 配音软件,打造独特音频体验
人工智能
xinxiyinhe8 小时前
GitHub上英语学习工具的精选分类汇总
人工智能·deepseek·学习英语精选
ZStack开发者社区8 小时前
全球化2.0 | ZStack举办香港Partner Day,推动AIOS智塔+DeepSeek海外实践
人工智能·云计算
Spcarrydoinb10 小时前
基于yolo11的BGA图像目标检测
人工智能·目标检测·计算机视觉