VideoCrafter | 图文生成视频

VideoCrafter1: Open Diffusion Models for High-Quality Video Generation



Abstract

  • 商用的Text2Video模型可以生成高质量的视频,但是不开源,无法研究
  • VideoCrafter开源了2个模型,Text2Video和Image2Video,其中I2V可以生成1024X576高分辨率的电影质量的视频,在质量上超过其它开源模型,而且是业内第一个开源的的I2V模型。(I2V模型输入为text和reference image)

Contributions

  • T2V模型可以生成高分辨率高质量视频,训练集集为2千万视频和6亿张图像
  • I2V模型可以很好的保留参考图像的内容、结构和风格
  • Video Diffusion Models (VDMs)
  • ImagenVideo
  • DragNUWA

Methodology

Overview

包括2个关键部分:video vae 和 video diffusion

  • video vae 负责降低采样维度
    • 视频数据X0喂给VAE编码器E,映射到隐层Z0,其可以以低维表示压缩的视频表征
    • Z0通过解码器D反映射会视频数据空间,进行重构X0'
    • VAE采用的是Stable Diffusion的VAE,将每一帧独自投影,不包含时间信息
  • video diffusion
    • 对视频隐层Z0进行去噪,最后通过VAE解码器在像素空间生成视频
    • 采用3D U-Net架构,包含了时间维度

Denoising 3D U-Net

  • 每一个block包含卷积层、空间变换ST、时间变换TT
  • 控制信号包括语义控制(文本提示)和动作速度控制(FPS帧率)

    • 语义控制通过CA交叉注意力注入到网络中,其中 φi(zt) ∈ RN×di ϵ represents spatially flattened tokens of video latent, ϕ denotes the Clip text encoder, and y is the input text prompt.
    • 时间步T和帧率FPS分别通过sinusoidal embedding(正弦嵌入)映射为向量,再通过2层的MLP映射为学习嵌入,最后通过逐元素相加融合

Text-Aligned Rich Image Embedding

  • 文本提示聚焦在语义水平特征,而不是细节外表特征
  • 在I2V模型中,需要额外集成条件输入,即图像提示。为了将图像信息用于视频模型中,需要将图像特征投影到文本对齐的嵌入空间,这样才能兼容(就是同一个特征空间)
  • Text Encoder 是 CLIP的文本编码器,其全局语义字符 fcls 和图像字幕对齐,主要在语义水平表征视频内容,同时很少捕捉细节。因此,需要利用来自CLIP image ViT (clip image encoder)的最后一层的全部面片patch的token Fvis = {fi}K i=0
  • 为了和文本嵌入对齐,采用learnable投影网络 P 对 Fvis 映射 到 目标图像嵌入 Fimg = P(Fvis)
  • 将文本嵌入Ftext和图像嵌入Fimg通过CA层融合,用于计算内部特征Fin

Experiments

  • 开源里面,性能较好,但是和商用的Gen2在视觉质量和动作质量上有差距
  • 在五边形战士里,仅次于Gen2
  • 图像条件输入控制对比
  • T2V
  • I2V

Conclusions

  • 开源了还可以

  • 论文对比从没输过,实测效果却一般

References

相关推荐
whltaoin1 小时前
Java实现N皇后问题的双路径探索:递归回溯与迭代回溯算法详解
java·算法
梭七y3 小时前
【力扣hot100题】(032)排序链表
算法·leetcode·链表
SsummerC3 小时前
【leetcode100】数组中的第K个最大元素
python·算法·leetcode
编程绿豆侠3 小时前
力扣HOT100之链表:206. 反转链表
算法·leetcode·链表
永恒迷星.by4 小时前
文件操作(c语言)
c语言·c++·算法·文件操作
还有你Y4 小时前
MIMO预编码与检测算法的对比
算法·预编码算法
凯强同学4 小时前
第十四届蓝桥杯大赛软件赛省赛Python 大学 C 组:7.翻转
python·算法·蓝桥杯
记得早睡~5 小时前
leetcode51-N皇后
javascript·算法·leetcode·typescript
lancyu6 小时前
C语言--插入排序
c语言·算法·排序算法
点云SLAM6 小时前
C++20新增内容
c++·算法·c++20·c++ 标准库