MotionDiffuse: Text-Driven Human Motion Generation withDiffusion Model # 论文阅读

URL

https://arxiv.org/pdf/2208.15001

主页:https://mingyuan-zhang.github.io/projects/MotionDiffuse.html

TD;DR

22 年 8 月商汤的文章,引用量 200+。基于 SD,任务是输入文本的动作描述,生成对应的动作序列。

已有的 motion 生成方法的输入 condition 可以分为 3 类,包括预设好的 pose 序列类别、音乐、自然语言,本文主要关注的是自然语言生成的方式。用语言生成的方法大多只能支持少量词语的短句生成,或者只能生成简单的 pose

Model & Method

因为是 22 年的文章,当时还有 motion module 这个东西,所以本文生成连续帧的方式是吧时间信息 t 通过 positional embedding 的方式注入到训练过程中,生成的动作序列长度是固定的。

Dataset & Results

Thought

  • 文章比较老,t 注入的方式没有什么参考价值。可以参考一下造数据的方法,和 gt 格式
  • 本文似乎可以用 prompt 分别控制 body 的每一个独立肢体 lib
相关推荐
塔_Tass5 小时前
【论文阅读】:Weighted Graph Cuts without Eigenvectors:A Multilevel Approach
论文阅读·机器学习·聚类·k-means
张较瘦_5 小时前
[论文阅读] 人工智能+软件工程 | 理解GitGoodBench:评估AI代理在Git中表现的新基准
论文阅读·人工智能·软件工程
人有一心9 小时前
【论文阅读】多任务学习起源类论文《Multi-Task Feature Learning》
论文阅读·学习
Jamence11 小时前
多模态大语言模型arxiv论文略读(113)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
寻丶幽风1 天前
论文阅读笔记——Muffin: Testing Deep Learning Libraries via Neural Architecture Fuzzing
论文阅读·笔记·深度学习·网络安全·差分测试
学术交流1 天前
【投稿优惠】2025年航天技术 、雷达信号与无人机应用国际会议 (ATRA 2025)
论文阅读·无人机·论文笔记·航天技术
张较瘦_1 天前
[论文阅读] 人工智能+软件工程 | MemFL:给大模型装上“项目记忆”,让软件故障定位又快又准
论文阅读·人工智能·软件工程
学术交流2 天前
2025年能源电力系统与流体力学国际会议 (EPSFD 2025)
论文阅读·能源·论文笔记
王上上2 天前
【论文阅读30】Bi-LSTM(2024)
论文阅读·人工智能·lstm
qq_416276422 天前
作为点的对象CenterNet论文阅读
论文阅读