PAIR发布长视频生成模型StreamingT2V:2分钟超长AI视频生成,最强开源视频生成

前言

随着人工智能技术的不断进步,AI生成内容(AIGC)已经成为了技术研究和应用开发的热点领域。特别是在视频生成领域,从短视频到长视频的生成,AI模型正不断突破限制,带来更加丰富和动态的内容创作可能。最近,Picsart人工智能研究所、德克萨斯大学和SHI实验室的研究人员联合推出的StreamingT2V视频模型,无疑为长视频生成领域注入了新的活力。

StreamingT2V模型简介

StreamingT2V是一种先进的长视频生成模型,能够通过文本直接生成2分钟、1分钟等不同时间长度的视频,且这些视频动作一致、连贯,没有卡顿,展现出高质量的视频生成能力。虽然在视频质量和多元化方面,StreamingT2V还无法与Sora模型媲美,但其在高速运动视频生成方面的表现尤为出色,为开发更长时间的视频模型提供了重要的技术参考。

技术创新点

StreamingT2V采用了创新的自回归技术框架,通过条件注意力、外观保持和随机混合三大模块,极大地延长了视频的时间长度,同时保证了动作的连贯性和视频的整体质量。简单来说,StreamingT2V通过"击鼓传花"的方法,利用每个模块提取前一个视频块中的表示特征,以保证动作一致性、文本语义还原和视频完整性等。

  • 条件注意力模块:作为一种"短期记忆",该模块通过注意力机制从前一个视频块中提取特征,并将其注入到当前视频块的生成中,从而实现流畅自然的块间过渡。
  • 外观保持模块:作为一种"长期记忆",该模块从初始图像(锚定帧)中提取场景和对象特征,并用于所有视频块的生成流程,保持视频全局场景、外观的一致性。
  • 随机混合模块:用于增强视频分辨率和质量,通过自回归增强的方法,优化视频的分辨率,同时保持视频的时间连贯性。

开源与应用前景

研究团队已经宣布,他们正在准备开源StreamingT2V视频模型。一旦开源,这将极大促进视频生成技术的研究和应用开发,为AIGC领域带来新的创新和突破。StreamingT2V的应用前景广阔,不仅可以用于娱乐和创意内容生成,还可以应用于教育、培训和模拟等领域,提供更加丰富和真实的视觉体验。

结论

StreamingT2V模型的推出,标志着AI视频生成技术向更长时间、更高质量的方向迈进了一大步。随着模型的开源和进一步的技术迭代,我们有理由相信,未来AI生成的视频将更加生动丰富,为人们带来更加震撼的视觉享受。

模型下载

Huggingface模型下载

huggingface.co/PAIR/Stream...

AI快站模型免费加速下载

aifasthub.com/models/PAIR

相关推荐
酌沧7 分钟前
AI做美观PPT:3步流程+工具测评+避坑指南
人工智能·powerpoint
狂师11 分钟前
啥是AI Agent!2025年值得推荐入坑AI Agent的五大工具框架!(新手科普篇)
人工智能·后端·程序员
amazinging12 分钟前
北京-4年功能测试2年空窗-报培训班学测开-第四十三天
python·学习
星辰大海的精灵13 分钟前
使用Docker和Kubernetes部署机器学习模型
人工智能·后端·架构
victory043116 分钟前
SpiceMix enables integrative single-cell spatial modeling of cell identity 文章解读
人工智能·深度学习
新智元20 分钟前
半数清华,8 位华人 AI 天团集体投奔 Meta!奥特曼:砸钱抢人不如培养死忠
人工智能·openai
新智元23 分钟前
全球顶尖 CS 论文惊爆 AI「好评密令」!哥大等 14 所高校卷入,学术圈炸锅
人工智能·openai
l0sgAi28 分钟前
vLLM在RTX50系显卡上部署大模型-使用wsl2
linux·人工智能
DDliu28 分钟前
花半个月死磕提示词后,我发现:真正值钱的不是模板,是这套可复用的结构化思维
人工智能
腾讯云开发者28 分钟前
AI 浪潮下的锚与帆:工程师文化的变与不变 | 架构师夜生活
人工智能