AI视频生成进入多镜头叙事时代!字节发布 Waver 1.:一句话生成 10 秒 1080p 多风格视频,创作轻松“一键”达!

字节提出的 Waver 1.0 是用于统一图像和视频生成的下一代通用基础模型系列,它基于整流变压器构建,专为实现工业级性能而设计。

  • 一体化模型:在单一集成框架内同时支持文本到视频 (T2V)、图像到视频 (I2V) 和文本到图像 (T2I) 生成。

  • 1080p 分辨率和灵活长度:支持高达 1080p 的高分辨率图像和视频生成,具有灵活的分辨率、宽高比和视频长度(2-10 秒)。

  • SOTA 性能:在人工分析的T2V 排行榜和I2V 排行榜上均排名前三名,始终优于现有的开源模型,并达到或超过最先进的商业解决方案。

  • 卓越的运动建模:擅长捕捉复杂的运动,在视频合成中实现卓越的运动幅度和时间一致性。

相关链接

Waver1.0 简介

Waver1.0是一款一体化视频生成模型,擅长文本转视频 (T2V)、图像转视频 (I2V) 和文本转图像 (T2I) 生成。它提供灵活的分辨率和宽高比,支持任意长度的视频,并且易于扩展,可控制视频生成。

模型架构

使用Wan-VAE获取压缩视频潜在特征,以提高其效率。采用flan-t5-xxl和Qwen2.5-32B-Instruct提取文本特征。DiT 模型基于整流 Transformer 构建。视频和文本模态采用双流 + 单流方法融合,其中两种类型的块数分别为 M 和 N。我们通过修改输入通道,在单个模型中实现了 T2V 和 I2V 的联合训练,视频标记通道为 16,图像(第一帧)标记通道为 16,任务掩码通道为 4。在 T2V 和 I2V 的联合训练中,我们以 20% 的概率加入图像潜在特征。

用于 1080P 生成的级联精炼器

Waver-Refiner采用 DiT 架构,并使用流匹配方法进行训练。我们首先将低分辨率视频(480p 或 720p)上采样至 1080p,然后为其添加噪声。Refiner 将带噪声的低分辨率视频作为输入,并输出高质量的 1080p 视频。Refiner 采用窗口注意力机制,将推理步骤数量减少了一半,显著提升了推理速度。具体而言,与直接生成 1080p 相比,720p→1080p 的推理时间缩短了约 40%,480p→1080p 的推理时间缩短了约 60%。

训练策略

作者发现低分辨率视频训练对于学习运动至关重要。因此投入了大量计算资源在 192p 视频上进行训练,然后逐渐将分辨率提高到 480p 和 720p。遵循SD3中的光流匹配训练设置,在 480p 和 720p 视频上训练时逐渐增加 sigma shift 的值。对于 720p 训练,我们在训练中将 sigma shift 设置为 3.0,在推断中设置为 7.0。对于 T2I,我们使用 lognorm(0.5, 1) 概率密度函数进行时间步长的采样。对于 T2V 和 I2V,我们使用 mode(1.29)。根据经验,我们发现使用 mode 采样策略在视频生成任务中可以带来更佳的运动效果。

提示标记

采用提示标记方法来区分不同类型的训练数据。根据视频风格和视频质量为训练数据分配不同的标签。在训练期间会在字幕前添加一个描述视频风格的提示。对于质量会在训练字幕末尾附加一个描述视频质量的提示。在推理过程中会将描述不良质量(例如低清晰度或慢动作)的提示合并到负面提示中。对于特定的风格要求(例如动漫风格),会使用提示重写技术将相应的描述性提示添加到整体提示之前。

以下视频展示了同一提示"夜晚,一个男人和一个女人手牵手走在熙熙攘攘的城市街道上"的 6 种不同风格:真实的、吉卜力风格的 2D 动画、3D 动画、体素风格的 3D 动画、迪士尼动画电影风格、卡通图画书风格的 2D 动画。

推理优化

将APG扩展到视频生成,以增强真实感并减少伪影。APG 将 CFG 中的更新项分解为并行和正交分量,并降低并行分量的权重,从而实现高质量生成且不会过饱和。从 C, H, W 维度对潜在向量进行归一化比从 C, T, H, W 维度对潜在向量进行归一化可以减少伪影。对于超参数发现归一化阈值 27 和指导尺度 8 在真实感和伪影之间取得了良好的平衡。

相关推荐
张张123y8 分钟前
个人助手型 Agent 的六个工程细节:Hermes 与 OpenClaw 的审批、委派、上下文与调度
网络·人工智能·开源·后端开发·ai agent
Dawson Zhu44 分钟前
【模型量化⑦】W4A8与GPTQ-Int4:极限压缩与MLC-LLM部署实战
人工智能·语言模型·架构·aigc·agi
千寻技术帮1 小时前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计
天树星智源1 小时前
KV 剪枝的同一个误差,模型确定时只改 1.4% 的 token,不确定时改 65%:接上不确定性,AIME25 端到端快 1.27 倍
人工智能·大模型
AI英德西牛仔1 小时前
PC 用户的效率革命:腾讯元宝导出 Word 指令与“AI 导出鸭”的底层逻辑
人工智能·word·excel·deepseek·ai导出鸭
Flynn Liang2 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
VIP_CQCRE11 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷11 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我12 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁0112 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习