多人对话视频生成的新发展:麻省理工学院数据集和基线模型 “CovOG

概述

由于传统的语音驱动视频生成研究仅限于单个说话者或人脸领域,本文提出了一项新任务--多人对话视频生成,其目标是生成多人之间的自然对话。

研究的重点是构建多人类互动对话数据集(MIT),这是一个 12 小时的高分辨率数据集。

该数据集收集了涉及 2 到 4 人的对话视频,并自动分配姿势估计和语音状态分数,以全面捕捉与多人对话相关的语音、听力和手势的互动。

此外,作者还开发了一个基线模型 CovOG 来应对这一新挑战。

CovOG 融合了多人姿势编码器(MPE)和交互式音频驱动程序(IAD),前者集成了每个人的姿势特征,后者根据语音特征控制面部动作,从而自然再现说话和聆听的角色变化。IAD。

这样就能生成模拟采访和脱口秀等真实场景的视频,为今后的研究发展奠定了重要基础。

拟议方法

拟议方法的核心是基线模型 "CovOG",它是现有单人生成模型 "AnimateAnyone "的扩展。

首先,多人体姿态编码器(MPE)具有一种机制,可在卷积网络中分别处理每个人剪切出来的姿态,然后进行整合。

这样,系统就能灵活应对人数的波动,并在生成整体对话场景的同时,保持每个人的独立肢体动作。

接下来,IAD(交互式音频驱动程序)将每个说话者的语音特征和 "说话分数 "作为输入,并控制面部动作和表情。

当说话者说话时,该机制会使嘴部动作与语音同步;当说话者是听众时,该机制会产生点头和微笑等自然反应。

此外,CovOG 还使用参考图像来保持人的身份,并结合姿势和语音条件来生成视频。

这些创新技术能够生成多人对话视频,而传统的 "纯面部 "或 "单发言人 "模型则无法做到这一点,从而极大地扩展了视频合成的潜力,将自然互动纳入其中。

实验

在实验中,CovOG 的性能在麻省理工学院的数据集上进行了测试,并与传统方法进行了比较。

评估使用了表示图像质量的 SSIM 和 PSNR 以及衡量运动一致性的 FVD。

结果表明,CovOG 的表现始终优于 AnimateAnyone 和 ControlSVD 等代表性方法,而且质量稳定,特别是在多人对话情况下。

切除实验从数量上证明了这两个模块的有效性,切除 MPE 会导致整体姿势控制的丧失,而切除 IAD 则会导致不自然的面部动作。

在用户研究中,CovOG 在角色一致性、与音频的同步性和整体视频自然度方面也获得了很高的评价。

此外,在一项 "跨模态实验 "中,结合了不同视频中的身份、姿势和音频,CovOG 保持了时间上的流畅性和空间上的一致性,证明了它的多功能性。

这些结果表明,所提出的模型适用于再现逼真的多人对话。

相关推荐
VIP_CQCRE16 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷17 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我18 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁0118 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn18 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄19 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下20 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码20 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下20 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩21 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek