字节视频基础大模型发布!单 GPU 就可生成 1080P,蒋路领衔 Seed 视频团队曝光

字节 Seed 团队视频生成基础模型,来了。

Seaweed 海藻,"Seed-Video" 的缩写_(真是好一个谐音梗!)_。

首发仅 70 亿参数,却能实现超越同类 140 亿参数视频模型的效果------

它能根据文本描述创建各种分辨率_(原生支持 1280x720 分辨率)_、任意宽高比和时长的视频。

比如直接来个 20 秒的 Driving 长镜头。

与其他模型对比情况。

图像到视频任务。

文本到视频的任务。

在单个 H100 GPU 运行中,Seaweed 响应速度是 Wan-2.1(参数量是前者两倍)的 62 分之一。

技术报告:三大技术创新

不过更详细的技术细节,还是集中在技术报告里。

整篇技术报告核心讨论的就是一个问题:在视频生成基础模型的训练上,如何实现低成本高效益

他们选择训练一个中等规模的模型------约 70 亿个参数的 DiT 模型,使用 665000 个 H100 GPU Hours 从头开始训练该模型,相当于在 1000 个 H100 GPU 上训练 27.7 天。

具体在数据处理、模型架构设计、以及训练策略和优化方面三个方面的技术创新。

首先是数据这块。

他们有一套全面的数据处理管道,其中包括但不限于时间分割、空间裁剪、质量过滤、多视角数据平衡、重复数据删除和视频字幕。

每一个步骤都有他们详细的处理细节。

以字幕任务为例,他们发现使用更大的 72B LLM 可以减少幻觉。但是,使用 72B 模型为数百万个视频生成视频字幕的计算成本要高得多。

于是他们选择将 72B 作为教师模型然后蒸馏出 7B 的学生模型,节约成本的同时还提高了准确率。此外他们还将详细字幕「推导」成简短字幕,类似于思维链过程,结果进一步提高简短字幕的准确率------从 84.81% 到 90.84%。

利用这一基础设施,他们每天可以处理超过 500000 小时的视频数据。

然后再是模型架构设计上面,由 64x 压缩比 VAE 与 Diffusion Transformer 结合组成 Seaweed 。

VAE 这边,由一个编码器和一个解码器组成,编码器将原始像素数据压缩到一个紧凑的潜在空间,解码器则根据这些潜在特征重建原始输入像素。理想的 VAE 应在保持较高重建质量的同时实现较高的压缩比。

这种设计为视频生成提供了两个优势,首先,它统一了图像和视频编码,使第一帧条件图像视频生成任务变得自然。其次,它消除了两个推断片段之间边界的闪烁,并允许编码和解码任意长的视频,而无需人工拼接。

而在 Diffusion Transformer 这边,他们用图像和视频的原始分辨率和持续时间对它们进行混合训练。为了平衡运行时间的计算,较短的序列被打包在一起。

最后就是多阶段多任务学习训练策略

他们采用了从低分辨率到高分辨率的多阶段渐进式的训练策略。这一设计侧重于在训练过程中战略性地分配 GPU 资源,以提高整体质量。

Pre-Training 阶段,他们只通过低分辨率图像对模型进行预训练,这样就能建立文本摘要与常见视觉概念之间的对齐关系。

Post-training 阶段。我们会应用监督微调(SFT),然后是人类反馈强化学习(RLHF),以进一步提高输出结果的美学质量、动作一致性和结构连贯性。

Just Like This~

这一阶段分别针对文本到视频和图像到视频任务进行。

而在更具体 Infra 层面的优化,他们还做了这些方面的措施。

比如采用并行策略在长语境视频中训练 7B 模型;引入了运行时平衡(Runtime Balance)策略,以减轻图像和视频联合训练过程中的负载不平衡;还设计了多级激活检查点(MLAC),以减少 GPU 内存使用量和重新计算开销。

最后,还通过实施融合的 CUDA 内核来简化零散的 I/O 操作,从而优化 GPU 利用率。

因此,在大规模分布式训练中,Seaweed-7B 的模型 FLOPs 利用率(MFU)达到了 38%。

Seed 研究团队大曝光

而在官网最后,背后研究团队也都全部曝光。

由蒋路、冯佳时、杨振恒、杨建超带领的研究团队。

其中蒋路正是去年加盟字节的前谷歌高级科学家,曾负责谷歌视频生成工作,在多个谷歌产品(如 YouTube、云服务、AutoML、广告、Waymo 和翻译)中做出了重要贡献,同时也是 CMU 兼职教授。

冯佳时则是首次曝光的「关键 8 人」之一,大模型视觉基础研究团队负责人,专注于计算机视觉、机器学习领域的相关研究及其在多媒体中的应用。

具体研究团队成员如下:

基础设施以及贡献者还有这些:

参考链接:
[1]seaweed.video/
[2]arxiv.org/abs/2504.08...
[3]x.com/CeyuanY/sta...

欢迎在评论区留下你的想法!

相关推荐
西西弗Sisyphus7 分钟前
如果让计算机理解人类语言- Word2Vec(Word to Vector,2013)
人工智能·word·word2vec
前端双越老师30 分钟前
30 行代码 langChain.js 开发你的第一个 Agent
人工智能·node.js·agent
东坡肘子1 小时前
高温与奇怪的天象 | 肘子的 Swift 周报 #092
人工智能·swiftui·swift
AI大模型1 小时前
COZE实战部署(四)—— coze实战部署
程序员·llm·coze
AI大模型1 小时前
COZE实战部署(三)—— 更多实例的展示
llm·agent·coze
KaneLogger1 小时前
视频转文字,别再反复拖进度条了
前端·javascript·人工智能
度假的小鱼1 小时前
从 “人工编码“ 到 “AI 协同“:大模型如何重塑软件开发的效率与范式
人工智能
zm-v-159304339862 小时前
ArcGIS 水文分析升级:基于深度学习的流域洪水演进过程模拟
人工智能·深度学习·arcgis
拓端研究室3 小时前
视频讲解|核密度估计朴素贝叶斯:业务数据分类—从理论到实践
人工智能·分类·数据挖掘
灵智工坊LingzhiAI3 小时前
人体坐姿检测系统项目教程(YOLO11+PyTorch+可视化)
人工智能·pytorch·python