URL
https://arxiv.org/pdf/1907.01108
TD;DR
19 年 7 月 cmu 的文章，提出一种基于 natural language 生成 3D 动作序列的方法。通过一个简单的 CNN 模型应该就可以实现
Model & Method
首先定义一下任务：
- 输入：用户的自然语言，应该是通过词袋模型转换成 word vector
- 输出：shape = t, j, 3 的 tensor，t 表示时间维度，j 表示身体的关节点个数，3 表示 3d 关键点的维度。
训练过程是这样的：用两个 encoder 分别把 pose 和自然语言模型转换到 latent space，然后在 latent space 层面尝试完全对齐两者，这样就可以把对齐后的 latent 经过 pose decoder 还原到 pose 域内。
Dataset & Results
使用的训练数据集是一个开源的。
看起来训练时候文本的分布多样性还是可以的
Thought
- 思路有点像 GAN
- 时间比较老了，但是值得参考，可以用来快速复现 + 攒一个 ppl