stable-diffusion-webui怎么生成视频

我们知道stable-diffusion-webui是用来生成图片的,视频本质上就是图片的连续播放,那么stable-diffusion-webui是否就可以生成视频呢?答案是肯定的。本文介绍一种方法,使用stable-diffusion-webui来生成视频。

具体的方法是:安装AnimateDiff 来基于rtx5060显卡 8G显存来生成视频。

🚀 第一步:环境与安装

我们需要先配置好基础环境并安装插件。

  1. 环境准备 :需要确保已安装 ​stable-diffusion-webui​,并且 WebUI 版本 ≥ v1.6.0,Python 版本为 3.10.x(不支持3.11及以上)。RTX 5060显卡的8GB显存足以支持基础动画生成任务。
  2. 安装插件
  • 推荐方法 :启动WebUI,进入"Extensions" -> "Install from URL",粘贴仓库地址:​https://github.com/continue-revolution/sd-webui-animatediff​,点击"Install"。安装完成后重启WebUI。 有可能默认自带,如果已经安装则跳过即可。

    看到下面的内容就算安装成功:
  • 备选方法:在扩展列表的"Available"页面中,点击"Load from",搜索"AnimateDiff"并点击"Install"。
  1. 下载运动模块(关键):模型是插件的核心,负责定义物体的运动方式,必须手动下载。
  • 下载地址 :访问 ​huggingface.co/guoyww/animatediff​。对于8GB显存,推荐下载​mm_sd_v15_v2.ckpt​​mm_sd_v15_v2.safetensors​,它们专为SD 1.5模型设计,性能稳定。

  • 放置路径 :下载后,将模型文件放入 ​stable-diffusion-webui\extensions\sd-webui-animatediff\model​ 文件夹中。完成后重启WebUI以加载插件和模型。

加载:

✨ 第二步:生成你的第一个Demo视频

环境就绪后,我们来动手生成一个视频Demo。

  1. 基础设置 :在WebUI主界面(​txt2img​​img2img​),编写正反向提示词。选择一个SD 1.5系列的基础模型(Base Model),建议设置分辨率为 ​512x512​
    因为我们配置的是mm_sd_v15_v2.safetensors​ 视频生成模型,所以我们这里需要将生成的图片的模型设置为sd_v15_v2.safetensors​。提前下载好并放到``​stable-diffusion-webui\extensions\sd-webui-animatediff\model​ 文件夹中
  2. 配置AnimateDiff参数 :找到页面上的 ​AnimateDiff​ 折叠面板并展开,参考下图进行设置:
  • 运动模块 :在下拉菜单中选择已下载的模型文件(如 ​mm_sd_v15_v2.safetensors​)。
  • 总帧数 (Total Frames) :设为 ​16​。8GB显存建议从16帧开始。
  • 帧率 (FPS) :通常选 ​8​
  • 输出格式 (Output Format) :生成为预览,建议选择 ​GIF​​MP4​
  • 其他参数 :采样方法推荐 ​DPM++ 2M Karras​,迭代步数可设为 ​25​,种子设为 ​-1​(随机)。
  1. 生成与查看:点击页面右上角的"Generate"按钮。等待片刻后,生成的视频会出现在结果区域。
🔧 第三步:8GB显存的专属优化

为了在8GB显存上获得更流畅的体验,进行以下优化至关重要。

  • 1. 启用内置优化选项
  • 启动器设置 :如果你使用"绘世"等启动器,可在一键启动器的高级选项中,勾选 --medvram--lowvram
  • WebUI设置 :进入"Settings" -> "Optimizations",确保已启用 xformersSDP 来节省显存。
  • 2. 参数调整的艺术:在显卡承受范围内,可参考以下参数调整:
  • 运动强度 :在 ​AnimateDiff​ 面板的 ​Advanced​ 选项中找到 ​Motion Scale​。8GB显存下,建议保持在 ​0.8​ - ​1.0​ 的保守范围。
  • 分辨率与帧数
  • 推荐配置(480x480) :对于8GB显存,480x480 是速度和质量的绝佳平衡点。
  • 进阶配置(640x480) :在 480x480 基础上提升宽度,可增加画面信息量。
  • 极限测试(512x768) :偶尔尝试竖屏高分辨率。如果显存溢出(OOM),可启用 ​cpu_offload​​vae_slicing​ 技术,它们能将8GB显存的峰值占用降低约35%。

生成视频是一项创造性的工作,可以从上面建议的保守参数开始,逐步探索。希望这份指南能帮你迈出AI视频制作的第一步~

相关推荐
满怀冰雪1 小时前
24-PaddleClas 模型评估、导出与推理部署入门
大数据·人工智能·python·深度学习·paddle
Mid_search2 小时前
随机排列与Fisher-Yates算法
人工智能·深度学习·强化学习·随机排列·fisher-yates
ZGIAI6 小时前
ZGI Workflow:条件分支走错时先查哪一层
人工智能·架构
X54先生(人文科技)7 小时前
《元创力》纪实录 · 桥段 《窑变纪元:一份来自星历2227年的深空考古笔记》
人工智能·开源·ai写作·零知识证明
ZGIAI7 小时前
ZGI 文件产物:生成报告后怎样交付
人工智能·架构
东方-教育技术博主7 小时前
自动编码在教育场景中的重要性:一项基于多源证据的深度综述
大数据·人工智能
骥龙7 小时前
模块二:Ollama本地模型部署与OpenCode代理配置
人工智能
阡之尘埃7 小时前
Python数据分析案例85——大模型微调全流程(SFT的LoRA微调)
人工智能·python·深度学习·语言模型·llm·微调·千问
Regentsoft丽晶软件7 小时前
品牌方新品上市促销政策无法实时同步经销商,有没有支持总部-经销商-终端一站式的分销解决方案?
人工智能·经验分享·数据库架构