AI视频-stable-video-diffusio介绍

介绍

stbilityai/stable-video-diffusion-img2vid-xt模型,由Stability AI开发和训练的基于散度的图像到视频生成模型。该模型可以接受一张静态图像作为条件,并生成出一个短视频。

该模型通过在SVD Image-to-Video [14帧]的基础上进行微调而来,可以生成576x1024分辨率、25帧长度的视频。它使用了行业标准的f8解码器来实现视频的时间一致性。

优缺点

该模型旨在用于研究目的,可以用来研究生成模型、部署安全模型、理解模型的局限性等。它不适合用来生成关于真实人物或事件的视频。

该模型的一些局限包括生成的视频较短、运动不够自然流畅、无法用文本进行控制等。

原理

https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets

Stable Video Diffusion(稳定视频扩散),这是一种用于高分辨率、最先进的文本到视频和图像到视频合成的潜在视频扩散模型。

为构建预训练数据集,作者进行了系统的数据选择和缩放研究,并提出了一种策略来整理海量视频数据,将大量嘈杂的视频集合转化为适合生成式视频建模的数据集。

作者还引入了视频模型训练的三个不同阶段,并分别分析了它们对最终模型性能的影响。这三个阶段是:图像预训练、视频预训练和视频微调。

Stable Video Diffusion提供了一个强大的视频表示,作者通过在该模型的基础上进行微调,得到了最先进的图像到视频合成模型和其他高相关应用,如用于相机控制的LoRAs。

最后,作者进行了视频扩散模型的多视图微调的开创性研究,表明Stable Video Diffusion构成了一个强大的3D先验知识,在多视图合成中取得了最先进的结果,而其计算量只是之前方法的一小部分。

安装

https://github.com/Stability-AI/generative-models

https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt

先决条件:

  • 确保您的系统上安装了 Python。推荐使用 Python 3.10 或更高版本。
  • 根据模型要求,您可能需要一台配备合适 GPU 的机器进行模型推理。
    克隆仓库

使用 Git 从 GitHub 克隆仓库。

plain 复制代码
git clone https://github.com/Stability-AI/generative-models.git

导航到仓库目录

克隆后,导航到克隆的仓库目录。

plain 复制代码
cd generative-models

创建并激活Python虚拟环境

plain 复制代码
conda create --name svd python=3.10 -y

conda activate svd
pip3 install -r requirements/pt2.txt
pip3 install .
plain 复制代码
cd generative-models
streamlit run scripts/demo/video_sampling.py  --server.address  0.0.0.0  --server.port 7862
相关推荐
lilye662 分钟前
精益数据分析(20/126):解析经典数据分析框架,助力创业增长
大数据·人工智能·数据分析
盈达科技22 分钟前
盈达科技:登顶GEO优化全球制高点,以AICC定义AI时代内容智能优化新标杆
大数据·人工智能
安冬的码畜日常28 分钟前
【AI 加持下的 Python 编程实战 2_10】DIY 拓展:从扫雷小游戏开发再探问题分解与 AI 代码调试能力(中)
开发语言·前端·人工智能·ai·扫雷游戏·ai辅助编程·辅助编程
古希腊掌管学习的神29 分钟前
[LangGraph教程]LangGraph04——支持人机协作的聊天机器人
人工智能·语言模型·chatgpt·机器人·agent
FIT2CLOUD飞致云37 分钟前
问答页面支持拖拽和复制粘贴文件,MaxKB企业级AI助手v1.10.6 LTS版本发布
人工智能·开源
起个破名想半天了37 分钟前
计算机视觉cv入门之答题卡自动批阅
人工智能·opencv·计算机视觉
早睡早起吧41 分钟前
目标检测篇---Fast R-CNN
人工智能·目标检测·计算机视觉·cnn
爱喝奶茶的企鹅1 小时前
Ethan独立开发产品日报 | 2025-04-24
人工智能·程序员·开源
鸿蒙布道师1 小时前
OpenAI为何觊觎Chrome?AI时代浏览器争夺战背后的深层逻辑
前端·人工智能·chrome·深度学习·opencv·自然语言处理·chatgpt
生信宝典1 小时前
Nature method: 生物研究中的语言模型入门指南
人工智能·语言模型·自然语言处理