Language2Pose: Natural Language Grounded Pose Forecasting # 论文阅读

URL

https://arxiv.org/pdf/1907.01108

TD;DR

19 年 7 月 cmu 的文章,提出一种基于 natural language 生成 3D 动作序列的方法。通过一个简单的 CNN 模型应该就可以实现

Model & Method

首先定义一下任务:

  • 输入:用户的自然语言,应该是通过词袋模型转换成 word vector
  • 输出:shape = [t, j, 3] 的 tensor,t 表示时间维度,j 表示身体的关节点个数,3 表示 3d 关键点的维度。
    训练过程是这样的:用两个 encoder 分别把 pose 和自然语言模型转换到 latent space,然后在 latent space 层面尝试完全对齐两者,这样就可以把对齐后的 latent 经过 pose decoder 还原到 pose 域内。

Dataset & Results

使用的训练数据集是一个开源的。

看起来训练时候文本的分布多样性还是可以的

Thought

  • 思路有点像 GAN
  • 时间比较老了,但是值得参考,可以用来快速复现 + 攒一个 ppl
相关推荐
s1ckrain1 天前
【论文阅读】VARGPT-v1.1
论文阅读·多模态大模型·统一生成模型
Catching Star1 天前
【论文笔记】【强化微调】Vision-R1:首个针对多模态 LLM 制定的强化微调方法,以 7B 比肩 70B
论文阅读·强化微调
王上上1 天前
【论文阅读41】-LSTM-PINN预测人口
论文阅读·人工智能·lstm
s1ckrain2 天前
【论文阅读】DeepEyes: Incentivizing “Thinking with Images” via Reinforcement Learning
论文阅读·强化学习·多模态大模型·vlm
张较瘦_2 天前
[论文阅读] 人工智能 + 软件工程 | 需求获取访谈中LLM生成跟进问题研究:来龙去脉与创新突破
论文阅读·人工智能
北京地铁1号线3 天前
GPT-2论文阅读:Language Models are Unsupervised Multitask Learners
论文阅读·gpt·语言模型
张较瘦_3 天前
[论文阅读] 人工智能 + 软件工程 | 软件架构中自然问题主动辅助研究:从挑战到解决方案
论文阅读·人工智能·软件工程
有Li4 天前
通过具有一致性嵌入的大语言模型实现端到端乳腺癌放射治疗计划制定|文献速递-最新论文分享
论文阅读·深度学习·分类·医学生
张较瘦_4 天前
[论文阅读] 人工智能 | 深度学习系统崩溃恢复新方案:DaiFu框架的原位修复技术
论文阅读·人工智能·深度学习
selia10784 天前
[论文阅读] Neural Architecture Search: Insights from 1000 Papers
论文阅读