Open Sora 发布!开源的高效复现类 Sora 视频生成方案

不久前 OpenAI Sora 的发布可以说是震惊了世界,但是奈何目前 OpenAI 还未将 Sora 开放公测,但在昨天,我们却等来了 Open Sora 1.0 的发布,这是 Colossal-AI 团队的一个完全开源的视频生成项目,致力于**高效** 制作高质量视频,并使所有人都能使用其模型、工具和内容的计划。 通过采用**开源**原则,Open-Sora 不仅实现了先进视频生成技术的低成本普及,还提供了一个精简且用户友好的方案,简化了视频制作的复杂性。 # 模型训练报告 以下是 Colossal-AI 团队提供的模型训练报告: 为了降低计算成本,我们希望利用现有的 VAE 模型。 Sora 使用时空 VAE 来减少时间维度。然而目前还没有开源的高质量时空 VAE 模型。 MAGVIT 的4x4x4 VAE 不是开源的,而 VideoGPT 的 2x4x4 VAE 在我们的实验中质量较低。因此,我们决定在第一个版本中使用 2D VAE(来自 Stability-AI)。 视频训练涉及大量的 token。考虑 24fps 1 分钟视频,我们有 1440 帧。通过 VAE 下采样 4 倍和补丁大小下采样 2 倍,我们有 1440x1024≈1.5M 令牌。完全关注 150 万个代币会导致巨大的计算成本。因此,我们使用时空注意力来降低 Latte 之后的成本。 如图所示,我们在 STDiT 中的每个空间注意力之后插入一个时间注意力(ST 代表空间-时间)。这与 Latte 论文中的变体 3 类似。然而,我们不控制这些变体的类似数量的参数。虽然 Latte 的论文声称他们的变体比变体 3 更好,但我们对 16x256x256 视频的实验表明,在相同的迭代次数下,性能排名为:DiT(完整)\> STDiT(顺序)\> STDiT(并行)≈ Latte。因此,出于效率考虑,我们选择STDiT(顺序)。此处提供了速度基准。 ![](https://file.jishuzhan.net/article/1780436911626653698/f9985026e9486f0ab01960721f736d81.webp) 为了专注于视频生成,我们希望基于强大的图像生成模型来训练模型。 PixArt-α 是一种经过有效训练的高质量图像生成模型,具有T5条件DiT结构。我们用 PixArt-α 初始化模型,并将插入时间注意力的投影层初始化为零。这种初始化保留了模型在开始时生成图像的能力,而 Latte 的架构则不能。插入的 attention 使参数数量从580M增加到724M。 ![](https://file.jishuzhan.net/article/1780436911626653698/2d745b8b64643f42f752a0a28a52ca59.webp) 借鉴 PixArt-α 和 Stable Video Diffusion 的成功经验,我们还采用渐进式训练策略:在 366K 预训练数据集上使用 16x256x256,然后在 20K 数据集上使用 16x256x256、16x512x512 和 64x512x512。通过缩放位置嵌入,该策略大大降低了计算成本。 我们还尝试在 DiT 中使用 3D 补丁嵌入器。然而,在时间维度上进行 2 倍下采样,生成的视频质量较低。因此,我们在下一个版本中将下采样留给时间 VAE。目前,我们在 16 帧训练中每 3 帧采样一次,在 64 帧训练中每 2 帧采样一次。 我们发现数据的数量和质量对生成视频的质量有很大的影响,甚至比模型架构和训练策略还要大。此时,我们只准备了 HD-VG-130M 的第一个分割(366K 视频剪辑)。这些视频的质量参差不齐,而且字幕也不太准确。因此,我们进一步从提供免费许可视频的 Pexels 收集了 20k 个相对高质量的视频。我们使用 LLaVA(一种图像字幕模型)来标记视频,其中包含三个帧和一个设计好的提示。通过精心设计的提示,LLaVA 可以生成高质量的字幕。 ![](https://file.jishuzhan.net/article/1780436911626653698/60c1e44e19eea3f73c59368f834b7107.webp) 随着我们更加重视数据的质量,我们准备在下一个版本中收集更多数据并构建视频预处理管道。 # 最新成果展示 以下是经过压缩的视频 gif 动图以及简化的提示词: ![](https://file.jishuzhan.net/article/1780436911626653698/f77c1aaafc2fdd402fafa1fda4b71779.webp) > 森林地区宁静的夜景。 该视频是一段延时视频,捕捉从白天到黑夜的过渡,以湖泊和森林作为恒定的背景。 ![](https://file.jishuzhan.net/article/1780436911626653698/5202f5a95cc00b9dfc071b5b35abb3e5.webp) > 翱翔的无人机镜头捕捉到了海岸悬崖的雄伟美景,水轻轻地拍打着岩石底部和悬崖顶部的绿色植物。 ![](https://file.jishuzhan.net/article/1780436911626653698/c8894dfb111513bc346fb9587a90b4a9.webp) > 瀑布从悬崖上倾泻而下,注入宁静的湖泊,景色雄伟壮观。以相机角度提供了瀑布的鸟瞰图。 ![](https://file.jishuzhan.net/article/1780436911626653698/b83ed0dd6d6fbf5016739ca4bcb9b8d3.webp) > 夜晚繁华的城市街道,充满了汽车前灯的光芒和路灯的氛围光。 ![](https://file.jishuzhan.net/article/1780436911626653698/ed580d7a77654b6552f1c75436fbe172.webp) > 向日葵田充满活力的美丽。向日葵排列整齐,营造出秩序感和对称感。 ![](https://file.jishuzhan.net/article/1780436911626653698/c973f09ec0e515ef208e7664f051cdde.webp) > 宁静的水下场景,海龟在珊瑚礁中游动。乌龟,有着绿棕色的壳。 项目开源地址:[github.com/hpcaitech/O...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fhpcaitech%2FOpen-Sora "https://github.com/hpcaitech/Open-Sora") 团队表示 Open-Sora 项目目前处在早期阶段,并将持续更新。 往期推荐 > [一键升级ChatGPT Plus](https://juejin.cn/post/7341668771911090203 "https://juejin.cn/post/7341668771911090203") > > [注册与订阅 OnlyFans](https://juejin.cn/post/7344567634916311074 "https://juejin.cn/post/7344567634916311074") > > [如何发展副业](https://juejin.cn/post/7347221074704384010 "https://juejin.cn/post/7347221074704384010")

相关推荐
Ai尚研修-贾莲11 小时前
基于DeepSeek、ChatGPT支持下的地质灾害风险评估、易发性分析、信息化建库及灾后重建
人工智能·chatgpt
你一定走了很远的路吧17 小时前
DeepSeek与ChatGPT的优势对比:选择合适的工具来提升工作效率
ai·chatgpt
碣石潇湘无限路1 天前
【奇点时刻】GPT-4o新生图特性深度洞察报告
人工智能·经验分享·chatgpt·gpt4o·新生图特性
姚瑞南1 天前
从模糊感知到量化评估:构建一个Prompt打分工具
人工智能·自然语言处理·chatgpt·prompt·aigc
鹿导的通天塔1 天前
「两步式AI阅读法」:让ChatGPT成为你的专属摘要助手
chatgpt
网络研究院1 天前
ChatGPT 的新图像生成器非常擅长伪造收据
网络·人工智能·安全·chatgpt·风险·技术·欺诈
HeteroCat2 天前
OpenAI 官方学院 -- 提示词课程要点
人工智能·chatgpt
白雪讲堂2 天前
AISEO (GEO )中的知识图谱
人工智能·chatgpt·知识图谱
hunteritself2 天前
DeepSeek重磅升级,豆包深度思考,ChatGPT原生生图,谷歌Gemini 2.5 Pro!| AI Weekly 3.24-3.30
人工智能·深度学习·chatgpt·开源·语音识别·deepseek
zm-v-159304339862 天前
ChatGPT 与 DeepSeek:学术科研的智能 “双引擎”
人工智能·chatgpt