字节黑科技 INFP,音频驱动的双边互动视频生成框架,实时生成,轻量又强大!

单人头像、对口型类的视频生成模型见得多了。

但双边互动式视频生成还是第一次见。

它就是字节最新发布的基于音频驱动的交互式头像视频生成框架:INFP

在双边对话中,存在双轨道音频,基于此可以生成任意代理的单个肖像图图像。

INFP 是一款新颖的声控头部生成框架,用于双边互动。

不像以前的头部生成工作只关注单向通信,或需要手动分派角色和显式角色切换,INFP动态地在说话和聆听之间切换agent portrait,受到输入双边音频的指导。

INFP 实现原理

具体而言,INFP 包括两个阶段:基于动作的头部模仿阶段音频引导的动作生成阶段

第一阶段学会将现实对话中的面部交流行为投影到一个低维的动作隐空间,并使用动作隐码生成静态图像。

第二阶段通过去噪学习将输入双边音频映射到动作隐码,从而在互动场景中实现音频驱动的头部生成。

INFP 核心特点

1、音频驱动,角色自动切换

根据音频内容自动切换角色,无需手动指定说话人。

2、高度真实的表情与动作

面部表情、头部动作与音频内容可保持高度一致。唇形同步效果精准,自然流畅。

3、轻量级与高性能

框架经过深度优化,运行速度超过 40 FPS,支持实时视频生成。

适合即时通讯、视频会议等实时场景。

轻量化设计,使得运行效率高,部署成本低。

4、多语言与多场景支持

支持多语言音频生成,适合国际化应用。

同时还支持唱歌模式,以及侧面头像和非人类形象的生成,扩展了使用范围。

使用场景

  • 视频会议与即时通讯:实时生成虚拟头像,让沟通更具趣味性和表现力。

  • 虚拟主播:自动生成虚拟主播视频,提升内容生产效率。

  • 教育与娱乐:在教育场景中,提供虚拟教师或演示形象;在娱乐中用于角色互动。

  • 游戏与虚拟社交:为游戏中的虚拟角色提供更真实的表现力;在虚拟社交场景中生成动态头像。

写在最后

INFP 通过简单的输入即可生成高度自然、灵活的互动视频。

这一框架在即时通讯、虚拟主播、教育娱乐等领域都展现出极高的实用价值。它的实时性、轻量化和多语言支持,可能在未来能成为虚拟交互应用的优选工具。

当然,INFP 框架刚刚发布,代码还未开源,可以先了解具体实现路径及具体示例看看效果。

项目主页:grisoon.github.io/INFP/

相关推荐
黄啊码2 小时前
Coze新品实测:当AI开始像产品经理思考,我和程序员吵架的次数少了
人工智能·agent·coze
jie*2 小时前
小杰机器学习(six)——概率论——1.均匀分布2.正态分布3.数学期望4.方差5.标准差6.多维随机变量及其分布
人工智能·机器学习·概率论
挽安学长2 小时前
通过 gaccode在国内使用ClaudeCode,Windows、Mac 用户配置指南!
人工智能
唐某人丶2 小时前
教你如何用 JS 实现 Agent 系统(3)—— 借鉴 Cursor 的设计模式实现深度搜索
前端·人工智能·aigc
weixin_457340212 小时前
RTX5060 Ti显卡安装cuda版本PyTorch踩坑记录
人工智能·pytorch·python
Stanford_11062 小时前
关于物联网的基础知识(四)——国内有代表性的物联网平台都有哪些?
人工智能·物联网·微信·微信公众平台·twitter·微信开放平台
偶尔贪玩的骑士2 小时前
Machine Learning HW4 report: 语者识别 (Hongyi Lee)
人工智能·深度学习·机器学习·self-attention
柯南二号2 小时前
【AI】【Java后端】RAG 实战示例:SpringBoot + 向量检索 + LLM 问答系统
java·人工智能·spring boot
民乐团扒谱机2 小时前
【微实验】激光测径系列(六)MATLAB 实现 CCD 图像像素与实际距离标定
人工智能·计算机视觉
算家计算2 小时前
阿里最新开源Wan2.2-Animate-14B 本地部署教程:统一双模态框架,MoE架构赋能电影级角色动画与替换
人工智能·开源