MotionDiffuse: Text-Driven Human Motion Generation withDiffusion Model # 论文阅读

URL

https://arxiv.org/pdf/2208.15001

主页:https://mingyuan-zhang.github.io/projects/MotionDiffuse.html

TD;DR

22 年 8 月商汤的文章,引用量 200+。基于 SD,任务是输入文本的动作描述,生成对应的动作序列。

已有的 motion 生成方法的输入 condition 可以分为 3 类,包括预设好的 pose 序列类别、音乐、自然语言,本文主要关注的是自然语言生成的方式。用语言生成的方法大多只能支持少量词语的短句生成,或者只能生成简单的 pose

Model & Method

因为是 22 年的文章,当时还有 motion module 这个东西,所以本文生成连续帧的方式是吧时间信息 t 通过 positional embedding 的方式注入到训练过程中,生成的动作序列长度是固定的。

Dataset & Results

Thought

  • 文章比较老,t 注入的方式没有什么参考价值。可以参考一下造数据的方法,和 gt 格式
  • 本文似乎可以用 prompt 分别控制 body 的每一个独立肢体 lib
相关推荐
m4Rk_1 天前
【论文阅读】Agent 记忆机制(41):Agentic Plan Caching——将历史执行轨迹转化为可复用的计划记忆
论文阅读·人工智能·学习·开源·github
m4Rk_1 天前
【论文阅读】Agent 记忆机制(40):HiAgent——通过子目标级记忆提升长程任务执行能力
论文阅读·人工智能·学习·开源·github
、达西先生2 天前
Hand Visibility Detector 论文解读
论文阅读·姿态识别·视觉估计
柳叶方舟2 天前
Nature Medicine IF=50.0 | 公众医疗助手LLM可靠性存隐忧:真人交互表现未优于对照组,现有评估基准失效
论文阅读·人工智能·深度学习·交互·健康医疗
Capricorn19883 天前
知芽研究问题看板无法推进?从孵化区到笔记的机制排查指南
大数据·论文阅读·人工智能·笔记·学习方法·论文笔记
m4Rk_4 天前
【论文阅读】Agent 记忆机制(38):AMA——用多智能体协作动态选择记忆粒度
论文阅读·人工智能·学习
m4Rk_7 天前
【论文阅读】Agent 记忆机制(35):MAGMA——用多关系图与意图路由实现结构化长期记忆检索
论文阅读·人工智能·学习·开源·github
m4Rk_8 天前
【论文阅读】Agent 记忆机制(34):MemoryBank——用遗忘曲线管理可强化的长期对话记忆
论文阅读·人工智能·学习·开源·github
zzm62810 天前
安全嵌套子博弈求解与非完美信息博弈——NIPS 2017 最佳论文阅读笔记
论文阅读·笔记·nips·博弈论
张继雁11 天前
夏季切削液发臭不用瞎换液
论文阅读·机器学习·创业创新·学习方法·业界资讯·远程工作