Mora: Enabling Generalist Video Generation via A Multi-Agent Framework

Mora: Enabling Generalist Video Generation via A Multi-Agent Framework

PDF: https://arxiv.org/html/2403.13248v1

1 概述

为弥补Sora不开源的缺陷,本文提出多代理框架Mora,整合先进视觉AI代理,复制Sora的全能视频生成能力。Mora能利用多视觉代理,成功模仿Sora在各种任务中的视频生成能力。

主要贡献包括:

  • 介绍了Mora,一个用于增强多智能体协作的元编程框架,具有结构化且灵活的智能体系统和直观的配置界面,有助于推动通用视频生成任务的发展。
  • 研究表明,通过自动化协作多个智能体(如文本到图像、图像到视频等),可以显著提升视频生成质量。
  • Mora在多个视频相关任务中表现卓越,超越现有开源模型,展现了其作为通用视频生成框架的巨大潜力,预示着视频内容创建和利用的重大进步。

2 Mora: A Multi-Agent Framework for Video Generation

代理的设定使得复杂工作可以分解为更具体的任务,不同能力的代理在解决视频生成任务时相互协作。Mora 框架包括五个基本角色:提示选择和生成、文本到图像生成、图像到图像生成、图像到视频生成以及视频到视频代理。

2-1 提示选择与生成代理

在开始图像生成前,代理利用大型语言模型处理优化文本提示,以提升图像的相关性和质量。

目前,GPT-4是市面上最先进的生成模型。通过利用GPT-4的能力,我们能够生成并精心选择高质量的提示。这些提示详细且信息丰富,为文本到图像的生成过程提供了全面的指导。

GPT-4 Technical Report

2-2 文本到图像生成代理

该代理将丰富的文本描述转化为高质量的初始图像,准确呈现复杂文本输入的可视化效果。

Stable Diffusion XL通过增强UNet架构和引入双文本编码器系统,提升了文本解读能力,并引入无需外部监督的条件方案,增强了生成图像的灵活性。其细化模型通过噪声消除技术,提升了图像的视觉质量,同时保持高效生成速度。

SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis

2-3 图像到图像生成代理

代理根据文本指令修改源图像,实现细节调整或整体变换,无缝融合新元素和调整视觉风格。

InstructPix2Pix融合了GPT-3和Stable Diffusion两个预训练模型的优势。GPT-3负责从文本描述中生成编辑指令和标题,Stable Diffusion则将文本输入转化为视觉输出。框架首先微调GPT-3以提出合理编辑建议,然后利用Stable Diffusion生成编辑前后的图像对。最终,InstructPix2Pix利用文本指令和输入图像直接进行编辑,通过无分类器指导提高效率和保真度。

Do As I Can, Not As I Say: Grounding Language in Robotic Affordances

2-4 图像到视频生成代理

此代理将初始图像转换为生动的视频序列,确保内容连贯且视觉一致,展现模型对场景进展的预见能力。

采用先进的Stable Video Diffusion模型来生成视频,它结合LDMs的优势,可处理视频的时间复杂性。模型经过三阶段训练:从文本到图像学习视觉表示,视频预训练学习时间动态,高质量视频微调提高生成效果。

Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets

2-5 视频连接代理

利用视频到视频代理,基于用户提供的两个视频创建无缝过渡,保留各段风格,实现流畅的视频转换。

使用SEINE连接视频,它基于预训练的扩散T2V模型,能生成基于文本描述的过渡效果,实现流畅的视频连接。

SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction

3 Experiments

3-1 Text-to-video generation


3-2 Text-conditional image-to-video generation


3-3 Extend generated videos


3-4 Video-to-video editing


3-5 Connect Videos


3-6 Simulate digital worlds


相关推荐
杨小扩5 小时前
第4章:实战项目一 打造你的第一个AI知识库问答机器人 (RAG)
人工智能·机器人
whaosoft-1435 小时前
51c~目标检测~合集4
人工智能
雪兽软件5 小时前
2025 年网络安全与人工智能发展趋势
人工智能·安全·web安全
元宇宙时间6 小时前
全球发展币GDEV:从中国出发,走向全球的数字发展合作蓝图
大数据·人工智能·去中心化·区块链
小黄人20256 小时前
自动驾驶安全技术的演进与NVIDIA的创新实践
人工智能·安全·自动驾驶
ZStack开发者社区7 小时前
首批 | 云轴科技ZStack加入施耐德电气技术本地化创新生态
人工智能·科技·云计算
千宇宙航7 小时前
闲庭信步使用图像验证平台加速FPGA的开发:第六课——测试图案的FPGA实现
图像处理·计算机视觉·fpga开发
X Y O8 小时前
神经网络初步学习3——数据与损失
人工智能·神经网络·学习
FL16238631298 小时前
如何使用目标检测深度学习框架yolov8训练钢管管道表面缺陷VOC+YOLO格式1159张3类别的检测数据集步骤和流程
深度学习·yolo·目标检测
唯创知音8 小时前
玩具语音方案选型决策OTP vs Flash 的成本功耗与灵活性
人工智能·语音识别