MotionDiffuse: Text-Driven Human Motion Generation withDiffusion Model # 论文阅读

URL

https://arxiv.org/pdf/2208.15001

主页:https://mingyuan-zhang.github.io/projects/MotionDiffuse.html

TD;DR

22 年 8 月商汤的文章,引用量 200+。基于 SD,任务是输入文本的动作描述,生成对应的动作序列。

已有的 motion 生成方法的输入 condition 可以分为 3 类,包括预设好的 pose 序列类别、音乐、自然语言,本文主要关注的是自然语言生成的方式。用语言生成的方法大多只能支持少量词语的短句生成,或者只能生成简单的 pose

Model & Method

因为是 22 年的文章,当时还有 motion module 这个东西,所以本文生成连续帧的方式是吧时间信息 t 通过 positional embedding 的方式注入到训练过程中,生成的动作序列长度是固定的。

Dataset & Results

Thought

  • 文章比较老,t 注入的方式没有什么参考价值。可以参考一下造数据的方法,和 gt 格式
  • 本文似乎可以用 prompt 分别控制 body 的每一个独立肢体 lib
相关推荐
不解风水16 小时前
【论文阅读】一种基于经典机器学习的肌电下肢意图检测方法,用于人机交互系统
论文阅读·人机交互
爱补鱼的猫猫20 小时前
17、CryptoMamba论文笔记
论文阅读
大熊背20 小时前
《Fast Automatic White Balancing Method by Color Histogram Stretching》论文笔记
论文阅读·白平衡
CV-杨帆2 天前
论文阅读 arxiv 2024 MemGPT: Towards LLMs as Operating Systems
论文阅读
AAA锅包肉批发2 天前
论文阅读:Aircraft Trajectory Prediction Model Based on Improved GRU Structure
论文阅读·深度学习·gru
星夜Zn2 天前
Nature论文-预测和捕捉人类认知的基础模型-用大模型模拟人类认知
论文阅读·人工智能·大语言模型·nature·认知建模·统一认知模型
dundunmm2 天前
【论文阅读】Deep Adversarial Multi-view Clustering Network
论文阅读·人工智能·深度学习·聚类·对抗网络·多视图聚类·深度多视图聚类
账户不存在3 天前
《Learning To Count Everything》论文阅读
论文阅读·pytorch·深度学习·无监督训练
CV-杨帆4 天前
论文阅读:AAAI 2024 ExpeL: LLM Agents Are Experiential Learners
论文阅读
万里鹏程转瞬至5 天前
论文阅读:DMD蒸馏 | One-step Diffusion with Distribution Matching Distillation
论文阅读