stable-diffusion-webui怎么生成视频

我们知道stable-diffusion-webui是用来生成图片的,视频本质上就是图片的连续播放,那么stable-diffusion-webui是否就可以生成视频呢?答案是肯定的。本文介绍一种方法,使用stable-diffusion-webui来生成视频。

具体的方法是:安装AnimateDiff 来基于rtx5060显卡 8G显存来生成视频。

🚀 第一步:环境与安装

我们需要先配置好基础环境并安装插件。

  1. 环境准备 :需要确保已安装 ​stable-diffusion-webui​,并且 WebUI 版本 ≥ v1.6.0,Python 版本为 3.10.x(不支持3.11及以上)。RTX 5060显卡的8GB显存足以支持基础动画生成任务。
  2. 安装插件
  • 推荐方法 :启动WebUI,进入"Extensions" -> "Install from URL",粘贴仓库地址:​https://github.com/continue-revolution/sd-webui-animatediff​,点击"Install"。安装完成后重启WebUI。 有可能默认自带,如果已经安装则跳过即可。

    看到下面的内容就算安装成功:
  • 备选方法:在扩展列表的"Available"页面中,点击"Load from",搜索"AnimateDiff"并点击"Install"。
  1. 下载运动模块(关键):模型是插件的核心,负责定义物体的运动方式,必须手动下载。
  • 下载地址 :访问 ​huggingface.co/guoyww/animatediff​。对于8GB显存,推荐下载​mm_sd_v15_v2.ckpt​​mm_sd_v15_v2.safetensors​,它们专为SD 1.5模型设计,性能稳定。

  • 放置路径 :下载后,将模型文件放入 ​stable-diffusion-webui\extensions\sd-webui-animatediff\model​ 文件夹中。完成后重启WebUI以加载插件和模型。

加载:

✨ 第二步:生成你的第一个Demo视频

环境就绪后,我们来动手生成一个视频Demo。

  1. 基础设置 :在WebUI主界面(​txt2img​​img2img​),编写正反向提示词。选择一个SD 1.5系列的基础模型(Base Model),建议设置分辨率为 ​512x512​
    因为我们配置的是mm_sd_v15_v2.safetensors​ 视频生成模型,所以我们这里需要将生成的图片的模型设置为sd_v15_v2.safetensors​。提前下载好并放到``​stable-diffusion-webui\extensions\sd-webui-animatediff\model​ 文件夹中
  2. 配置AnimateDiff参数 :找到页面上的 ​AnimateDiff​ 折叠面板并展开,参考下图进行设置:
  • 运动模块 :在下拉菜单中选择已下载的模型文件(如 ​mm_sd_v15_v2.safetensors​)。
  • 总帧数 (Total Frames) :设为 ​16​。8GB显存建议从16帧开始。
  • 帧率 (FPS) :通常选 ​8​
  • 输出格式 (Output Format) :生成为预览,建议选择 ​GIF​​MP4​
  • 其他参数 :采样方法推荐 ​DPM++ 2M Karras​,迭代步数可设为 ​25​,种子设为 ​-1​(随机)。
  1. 生成与查看:点击页面右上角的"Generate"按钮。等待片刻后,生成的视频会出现在结果区域。
🔧 第三步:8GB显存的专属优化

为了在8GB显存上获得更流畅的体验,进行以下优化至关重要。

  • 1. 启用内置优化选项
  • 启动器设置 :如果你使用"绘世"等启动器,可在一键启动器的高级选项中,勾选 --medvram--lowvram
  • WebUI设置 :进入"Settings" -> "Optimizations",确保已启用 xformersSDP 来节省显存。
  • 2. 参数调整的艺术:在显卡承受范围内,可参考以下参数调整:
  • 运动强度 :在 ​AnimateDiff​ 面板的 ​Advanced​ 选项中找到 ​Motion Scale​。8GB显存下,建议保持在 ​0.8​ - ​1.0​ 的保守范围。
  • 分辨率与帧数
  • 推荐配置(480x480) :对于8GB显存,480x480 是速度和质量的绝佳平衡点。
  • 进阶配置(640x480) :在 480x480 基础上提升宽度,可增加画面信息量。
  • 极限测试(512x768) :偶尔尝试竖屏高分辨率。如果显存溢出(OOM),可启用 ​cpu_offload​​vae_slicing​ 技术,它们能将8GB显存的峰值占用降低约35%。

生成视频是一项创造性的工作,可以从上面建议的保守参数开始,逐步探索。希望这份指南能帮你迈出AI视频制作的第一步~

相关推荐
H03111698522 分钟前
App竞品数据查询工具整理 月狐数据 蝉大师 点点数据功能概览
人工智能
叠层归一研究院1 小时前
基于极限自指的叠层归一宇宙结构理论——无元外部封闭系统的内生区分模型
人工智能·经验分享·算法·agi
IT_陈寒1 小时前
Java线程池用错参数,我的服务居然悄悄崩溃了
前端·人工智能·后端
why-geo1 小时前
Hermes Agent 与 Python 的会产生什么样的碰撞
人工智能·python·ai编程
正经教主1 小时前
【FDE系列】阶段2:Day 29:FastAPI 进阶 — Pydantic 模型与完整 CRUD 实战
人工智能·python·fde
时速GEO系统1 小时前
初元 AI V1.1 版本升级,首个正式版发布一周・实现生成、部署、上线、优化全流程自动化闭环
人工智能·数据挖掘·node.js
咕泡科技2 小时前
咕泡科技FDE系列最新产品重磅发布!
人工智能·大模型·ai落地·fde·前沿部署工程师
犀利豆2 小时前
为什么全世界的 AI 都画不好一只骑自行车的鹈鹕
人工智能·llm·aigc
天天被压力2 小时前
【跨市场数据实战 #08】可转债折价机会怎么筛:3个接口抓比价、列表和实时盘口
java·人工智能·python
baopixiaoz2 小时前
BeeQuant × BeeAgent:用AI加速策略验证
大数据·人工智能·python·区块链