stable-diffusion-webui怎么生成视频

我们知道stable-diffusion-webui是用来生成图片的,视频本质上就是图片的连续播放,那么stable-diffusion-webui是否就可以生成视频呢?答案是肯定的。本文介绍一种方法,使用stable-diffusion-webui来生成视频。

具体的方法是:安装AnimateDiff 来基于rtx5060显卡 8G显存来生成视频。

🚀 第一步:环境与安装

我们需要先配置好基础环境并安装插件。

  1. 环境准备 :需要确保已安装 ​stable-diffusion-webui​,并且 WebUI 版本 ≥ v1.6.0,Python 版本为 3.10.x(不支持3.11及以上)。RTX 5060显卡的8GB显存足以支持基础动画生成任务。
  2. 安装插件
  • 推荐方法 :启动WebUI,进入"Extensions" -> "Install from URL",粘贴仓库地址:​https://github.com/continue-revolution/sd-webui-animatediff​,点击"Install"。安装完成后重启WebUI。 有可能默认自带,如果已经安装则跳过即可。

    看到下面的内容就算安装成功:
  • 备选方法:在扩展列表的"Available"页面中,点击"Load from",搜索"AnimateDiff"并点击"Install"。
  1. 下载运动模块(关键):模型是插件的核心,负责定义物体的运动方式,必须手动下载。
  • 下载地址 :访问 ​huggingface.co/guoyww/animatediff​。对于8GB显存,推荐下载​mm_sd_v15_v2.ckpt​​mm_sd_v15_v2.safetensors​,它们专为SD 1.5模型设计,性能稳定。

  • 放置路径 :下载后,将模型文件放入 ​stable-diffusion-webui\extensions\sd-webui-animatediff\model​ 文件夹中。完成后重启WebUI以加载插件和模型。

加载:

✨ 第二步:生成你的第一个Demo视频

环境就绪后,我们来动手生成一个视频Demo。

  1. 基础设置 :在WebUI主界面(​txt2img​​img2img​),编写正反向提示词。选择一个SD 1.5系列的基础模型(Base Model),建议设置分辨率为 ​512x512​
    因为我们配置的是mm_sd_v15_v2.safetensors​ 视频生成模型,所以我们这里需要将生成的图片的模型设置为sd_v15_v2.safetensors​。提前下载好并放到``​stable-diffusion-webui\extensions\sd-webui-animatediff\model​ 文件夹中
  2. 配置AnimateDiff参数 :找到页面上的 ​AnimateDiff​ 折叠面板并展开,参考下图进行设置:
  • 运动模块 :在下拉菜单中选择已下载的模型文件(如 ​mm_sd_v15_v2.safetensors​)。
  • 总帧数 (Total Frames) :设为 ​16​。8GB显存建议从16帧开始。
  • 帧率 (FPS) :通常选 ​8​
  • 输出格式 (Output Format) :生成为预览,建议选择 ​GIF​​MP4​
  • 其他参数 :采样方法推荐 ​DPM++ 2M Karras​,迭代步数可设为 ​25​,种子设为 ​-1​(随机)。
  1. 生成与查看:点击页面右上角的"Generate"按钮。等待片刻后,生成的视频会出现在结果区域。
🔧 第三步:8GB显存的专属优化

为了在8GB显存上获得更流畅的体验,进行以下优化至关重要。

  • 1. 启用内置优化选项
  • 启动器设置 :如果你使用"绘世"等启动器,可在一键启动器的高级选项中,勾选 --medvram--lowvram
  • WebUI设置 :进入"Settings" -> "Optimizations",确保已启用 xformersSDP 来节省显存。
  • 2. 参数调整的艺术:在显卡承受范围内,可参考以下参数调整:
  • 运动强度 :在 ​AnimateDiff​ 面板的 ​Advanced​ 选项中找到 ​Motion Scale​。8GB显存下,建议保持在 ​0.8​ - ​1.0​ 的保守范围。
  • 分辨率与帧数
  • 推荐配置(480x480) :对于8GB显存,480x480 是速度和质量的绝佳平衡点。
  • 进阶配置(640x480) :在 480x480 基础上提升宽度,可增加画面信息量。
  • 极限测试(512x768) :偶尔尝试竖屏高分辨率。如果显存溢出(OOM),可启用 ​cpu_offload​​vae_slicing​ 技术,它们能将8GB显存的峰值占用降低约35%。

生成视频是一项创造性的工作,可以从上面建议的保守参数开始,逐步探索。希望这份指南能帮你迈出AI视频制作的第一步~

相关推荐
IvanCodes5 小时前
RAG 实战教程(一):RAG 工作原理与完整流程——分片、索引、召回、重排和生成
人工智能·后端·agent
今天AI了吗5 小时前
合规场景下的 AI 推理可解释性:Attention 可视化与推理路径追踪的工程实践
人工智能
周末程序猿5 小时前
浅析大模型推理十二篇之KV Cache
人工智能
鱼樱前端6 小时前
用 AI 做内容变收入
前端·人工智能·ai编程
Dawson Zhu6 小时前
基于Palantir Foundry构建半导体制造AI友好型数据中台:从良率分析场景谈起
人工智能·语言模型·架构·制造·agi
fthux7 小时前
装闭 RenoPit 源码解析(04):装修图纸和合同文件上传处理流程
人工智能·ai·开源·github·open source·renopit
weixin_446260858 小时前
从被动镜像到主动智能体:面向网络物理人工智能的整体论数字孪生(HDT-Net)
网络·人工智能
秋枫要学习8 小时前
你的鼠标,正在被 AI 抢走
人工智能·计算机外设
满怀冰雪9 小时前
19-图像数据处理:PaddleVision Transform 实战
人工智能·深度学习·计算机视觉·paddle