VideoCrafter | 图文生成视频

VideoCrafter1: Open Diffusion Models for High-Quality Video Generation



Abstract

  • 商用的Text2Video模型可以生成高质量的视频,但是不开源,无法研究
  • VideoCrafter开源了2个模型,Text2Video和Image2Video,其中I2V可以生成1024X576高分辨率的电影质量的视频,在质量上超过其它开源模型,而且是业内第一个开源的的I2V模型。(I2V模型输入为text和reference image)

Contributions

  • T2V模型可以生成高分辨率高质量视频,训练集集为2千万视频和6亿张图像
  • I2V模型可以很好的保留参考图像的内容、结构和风格
  • Video Diffusion Models (VDMs)
  • ImagenVideo
  • DragNUWA

Methodology

Overview

包括2个关键部分:video vae 和 video diffusion

  • video vae 负责降低采样维度
    • 视频数据X0喂给VAE编码器E,映射到隐层Z0,其可以以低维表示压缩的视频表征
    • Z0通过解码器D反映射会视频数据空间,进行重构X0'
    • VAE采用的是Stable Diffusion的VAE,将每一帧独自投影,不包含时间信息
  • video diffusion
    • 对视频隐层Z0进行去噪,最后通过VAE解码器在像素空间生成视频
    • 采用3D U-Net架构,包含了时间维度

Denoising 3D U-Net

  • 每一个block包含卷积层、空间变换ST、时间变换TT
  • 控制信号包括语义控制(文本提示)和动作速度控制(FPS帧率)

    • 语义控制通过CA交叉注意力注入到网络中,其中 φi(zt) ∈ RN×di ϵ represents spatially flattened tokens of video latent, ϕ denotes the Clip text encoder, and y is the input text prompt.
    • 时间步T和帧率FPS分别通过sinusoidal embedding(正弦嵌入)映射为向量,再通过2层的MLP映射为学习嵌入,最后通过逐元素相加融合

Text-Aligned Rich Image Embedding

  • 文本提示聚焦在语义水平特征,而不是细节外表特征
  • 在I2V模型中,需要额外集成条件输入,即图像提示。为了将图像信息用于视频模型中,需要将图像特征投影到文本对齐的嵌入空间,这样才能兼容(就是同一个特征空间)
  • Text Encoder 是 CLIP的文本编码器,其全局语义字符 fcls 和图像字幕对齐,主要在语义水平表征视频内容,同时很少捕捉细节。因此,需要利用来自CLIP image ViT (clip image encoder)的最后一层的全部面片patch的token Fvis = {fi}K i=0
  • 为了和文本嵌入对齐,采用learnable投影网络 P 对 Fvis 映射 到 目标图像嵌入 Fimg = P(Fvis)
  • 将文本嵌入Ftext和图像嵌入Fimg通过CA层融合,用于计算内部特征Fin

Experiments

  • 开源里面,性能较好,但是和商用的Gen2在视觉质量和动作质量上有差距
  • 在五边形战士里,仅次于Gen2
  • 图像条件输入控制对比
  • T2V
  • I2V

Conclusions

  • 开源了还可以

  • 论文对比从没输过,实测效果却一般

References

相关推荐
CoovallyAIHub15 小时前
中科大DSAI Lab团队多篇论文入选ICCV 2025,推动三维视觉与泛化感知技术突破
深度学习·算法·计算机视觉
NAGNIP16 小时前
Serverless 架构下的大模型框架落地实践
算法·架构
moonlifesudo16 小时前
半开区间和开区间的两个二分模版
算法
moonlifesudo16 小时前
300:最长递增子序列
算法
CoovallyAIHub21 小时前
港大&字节重磅发布DanceGRPO:突破视觉生成RLHF瓶颈,多项任务性能提升超180%!
深度学习·算法·计算机视觉
CoovallyAIHub1 天前
英伟达ViPE重磅发布!解决3D感知难题,SLAM+深度学习完美融合(附带数据集下载地址)
深度学习·算法·计算机视觉
聚客AI2 天前
🙋‍♀️Transformer训练与推理全流程:从输入处理到输出生成
人工智能·算法·llm
大怪v2 天前
前端:人工智能?我也会啊!来个花活,😎😎😎“自动驾驶”整起!
前端·javascript·算法
惯导马工2 天前
【论文导读】ORB-SLAM3:An Accurate Open-Source Library for Visual, Visual-Inertial and
深度学习·算法
骑自行车的码农2 天前
【React用到的一些算法】游标和栈
算法·react.js