Mora: Enabling Generalist Video Generation via A Multi-Agent Framework

Mora: Enabling Generalist Video Generation via A Multi-Agent Framework

PDF: https://arxiv.org/html/2403.13248v1

1 概述

为弥补Sora不开源的缺陷,本文提出多代理框架Mora,整合先进视觉AI代理,复制Sora的全能视频生成能力。Mora能利用多视觉代理,成功模仿Sora在各种任务中的视频生成能力。

主要贡献包括:

  • 介绍了Mora,一个用于增强多智能体协作的元编程框架,具有结构化且灵活的智能体系统和直观的配置界面,有助于推动通用视频生成任务的发展。
  • 研究表明,通过自动化协作多个智能体(如文本到图像、图像到视频等),可以显著提升视频生成质量。
  • Mora在多个视频相关任务中表现卓越,超越现有开源模型,展现了其作为通用视频生成框架的巨大潜力,预示着视频内容创建和利用的重大进步。

2 Mora: A Multi-Agent Framework for Video Generation

代理的设定使得复杂工作可以分解为更具体的任务,不同能力的代理在解决视频生成任务时相互协作。Mora 框架包括五个基本角色:提示选择和生成、文本到图像生成、图像到图像生成、图像到视频生成以及视频到视频代理。

2-1 提示选择与生成代理

在开始图像生成前,代理利用大型语言模型处理优化文本提示,以提升图像的相关性和质量。

目前,GPT-4是市面上最先进的生成模型。通过利用GPT-4的能力,我们能够生成并精心选择高质量的提示。这些提示详细且信息丰富,为文本到图像的生成过程提供了全面的指导。

GPT-4 Technical Report

2-2 文本到图像生成代理

该代理将丰富的文本描述转化为高质量的初始图像,准确呈现复杂文本输入的可视化效果。

Stable Diffusion XL通过增强UNet架构和引入双文本编码器系统,提升了文本解读能力,并引入无需外部监督的条件方案,增强了生成图像的灵活性。其细化模型通过噪声消除技术,提升了图像的视觉质量,同时保持高效生成速度。

SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis

2-3 图像到图像生成代理

代理根据文本指令修改源图像,实现细节调整或整体变换,无缝融合新元素和调整视觉风格。

InstructPix2Pix融合了GPT-3和Stable Diffusion两个预训练模型的优势。GPT-3负责从文本描述中生成编辑指令和标题,Stable Diffusion则将文本输入转化为视觉输出。框架首先微调GPT-3以提出合理编辑建议,然后利用Stable Diffusion生成编辑前后的图像对。最终,InstructPix2Pix利用文本指令和输入图像直接进行编辑,通过无分类器指导提高效率和保真度。

Do As I Can, Not As I Say: Grounding Language in Robotic Affordances

2-4 图像到视频生成代理

此代理将初始图像转换为生动的视频序列,确保内容连贯且视觉一致,展现模型对场景进展的预见能力。

采用先进的Stable Video Diffusion模型来生成视频,它结合LDMs的优势,可处理视频的时间复杂性。模型经过三阶段训练:从文本到图像学习视觉表示,视频预训练学习时间动态,高质量视频微调提高生成效果。

Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets

2-5 视频连接代理

利用视频到视频代理,基于用户提供的两个视频创建无缝过渡,保留各段风格,实现流畅的视频转换。

使用SEINE连接视频,它基于预训练的扩散T2V模型,能生成基于文本描述的过渡效果,实现流畅的视频连接。

SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction

3 Experiments

3-1 Text-to-video generation


3-2 Text-conditional image-to-video generation


3-3 Extend generated videos


3-4 Video-to-video editing


3-5 Connect Videos


3-6 Simulate digital worlds


相关推荐
编程在手天下我有8 分钟前
计算机视觉(CV)技术的优势和挑战
计算机视觉
zm-v-159304339869 分钟前
ChatGPT 与 DeepSeek:学术科研的智能 “双引擎”
人工智能·chatgpt
果冻人工智能12 分钟前
美国狂奔,中国稳走,AI赛道上的龟兔之争?
人工智能
牙牙要健康12 分钟前
【目标检测】【深度学习】【Pytorch版本】YOLOV2模型算法详解
pytorch·深度学习·目标检测
果冻人工智能22 分钟前
再谈AI与程序员: AI 写的代码越来越多,那我们还需要开发者吗?
人工智能
大脑探路者26 分钟前
【PyTorch】继承 nn.Module 创建简单神经网络
人工智能·pytorch·神经网络
无代码Dev1 小时前
如何使用AI去水印(ChatGPT去除图片水印)
人工智能·ai·ai-native
达柳斯·绍达华·宁1 小时前
自动驾驶04:点云预处理03
人工智能·机器学习·自动驾驶
wgc2k1 小时前
吴恩达深度学习复盘(4)神经网络的前向传播
人工智能·深度学习