技术栈
beat2
bhoigu
22 天前
人工智能
·
深度学习
·
神经网络
·
aigc
·
音视频
·
肢体动作生成
·
beat2
EMAGE：通过具表现力的掩码音频动作建模，实现统一的整体共语姿态生成
今天向大家介绍EMAGE，这是一个由清华大学、东京大学和庆应义塾大学等机构联合推出的全身共语手势框架。它能够根据音频内容生成与之同步的全身手势动作。这个模型原本是我非常关注的一个解决方案，特别适合用于数字人的肢体动作生成。后来作者在此基础上开发的Tango数字人生成模型表现不尽如人意，因此我没有继续深入研究。不过EMAGE本身仍有参考价值，尤其是它所采用的BEAT2数据集值得重点关注。