字节黑科技 INFP,音频驱动的双边互动视频生成框架,实时生成,轻量又强大!

单人头像、对口型类的视频生成模型见得多了。

但双边互动式视频生成还是第一次见。

它就是字节最新发布的基于音频驱动的交互式头像视频生成框架:INFP

在双边对话中,存在双轨道音频,基于此可以生成任意代理的单个肖像图图像。

INFP 是一款新颖的声控头部生成框架,用于双边互动。

不像以前的头部生成工作只关注单向通信,或需要手动分派角色和显式角色切换,INFP动态地在说话和聆听之间切换agent portrait,受到输入双边音频的指导。

INFP 实现原理

具体而言,INFP 包括两个阶段:基于动作的头部模仿阶段音频引导的动作生成阶段

第一阶段学会将现实对话中的面部交流行为投影到一个低维的动作隐空间,并使用动作隐码生成静态图像。

第二阶段通过去噪学习将输入双边音频映射到动作隐码,从而在互动场景中实现音频驱动的头部生成。

INFP 核心特点

1、音频驱动,角色自动切换

根据音频内容自动切换角色,无需手动指定说话人。

2、高度真实的表情与动作

面部表情、头部动作与音频内容可保持高度一致。唇形同步效果精准,自然流畅。

3、轻量级与高性能

框架经过深度优化,运行速度超过 40 FPS,支持实时视频生成。

适合即时通讯、视频会议等实时场景。

轻量化设计,使得运行效率高,部署成本低。

4、多语言与多场景支持

支持多语言音频生成,适合国际化应用。

同时还支持唱歌模式,以及侧面头像和非人类形象的生成,扩展了使用范围。

使用场景

  • 视频会议与即时通讯:实时生成虚拟头像,让沟通更具趣味性和表现力。

  • 虚拟主播:自动生成虚拟主播视频,提升内容生产效率。

  • 教育与娱乐:在教育场景中,提供虚拟教师或演示形象;在娱乐中用于角色互动。

  • 游戏与虚拟社交:为游戏中的虚拟角色提供更真实的表现力;在虚拟社交场景中生成动态头像。

写在最后

INFP 通过简单的输入即可生成高度自然、灵活的互动视频。

这一框架在即时通讯、虚拟主播、教育娱乐等领域都展现出极高的实用价值。它的实时性、轻量化和多语言支持,可能在未来能成为虚拟交互应用的优选工具。

当然,INFP 框架刚刚发布,代码还未开源,可以先了解具体实现路径及具体示例看看效果。

项目主页:grisoon.github.io/INFP/

相关推荐
白熊1883 小时前
【大模型LLM】梯度累积(Gradient Accumulation)原理详解
人工智能·大模型·llm
愚戏师3 小时前
机器学习(重学版)基础篇(算法与模型一)
人工智能·算法·机器学习
F_D_Z4 小时前
【PyTorch】图像多分类项目部署
人工智能·pytorch·python·深度学习·分类
音视频牛哥6 小时前
打通视频到AI的第一公里:轻量RTSP服务如何重塑边缘感知入口?
人工智能·计算机视觉·音视频·大牛直播sdk·机器视觉·轻量级rtsp服务·ai人工智能
Wendy14417 小时前
【灰度实验】——图像预处理(OpenCV)
人工智能·opencv·计算机视觉
中杯可乐多加冰7 小时前
五大低代码平台横向深度测评:smardaten 2.0领衔AI原型设计
人工智能
无线图像传输研究探索7 小时前
单兵图传终端:移动场景中的 “实时感知神经”
网络·人工智能·5g·无线图传·5g单兵图传
zzywxc7878 小时前
AI在编程、测试、数据分析等领域的前沿应用(技术报告)
人工智能·深度学习·机器学习·数据挖掘·数据分析·自动化·ai编程
铭keny8 小时前
YOLOv8 基于RTSP流目标检测
人工智能·yolo·目标检测
墨尘游子9 小时前
11-大语言模型—Transformer 盖楼,BERT 装修,RoBERTa 直接 “拎包入住”|预训练白话指南
人工智能·语言模型·自然语言处理