肢体动作生成

bhoigu22 天前
人工智能·深度学习·神经网络·aigc·音视频·肢体动作生成·beat2
EMAGE：通过具表现力的掩码音频动作建模，实现统一的整体共语姿态生成今天向大家介绍EMAGE，这是一个由清华大学、东京大学和庆应义塾大学等机构联合推出的全身共语手势框架。它能够根据音频内容生成与之同步的全身手势动作。这个模型原本是我非常关注的一个解决方案，特别适合用于数字人的肢体动作生成。后来作者在此基础上开发的Tango数字人生成模型表现不尽如人意，因此我没有继续深入研究。不过EMAGE本身仍有参考价值，尤其是它所采用的BEAT2数据集值得重点关注。