SDXL使用animateDiff和hotshot-xl进行文生视频

截至2023.12.8号,目前市面上有两款适用于SDXL的文生视频开源工具,分别是AnimateDiff和hotshot-xl。

一、工具下载链接

(1)AnimateDiff的webui版本的git链接:

GitHub - continue-revolution/sd-webui-animatediff: AnimateDiff for AUTOMATIC1111 Stable Diffusion WebUI

在文档中直接指出了这两个工具。

(2)hotShot-XL的webui版本的git链接:

GitHub - hotshotco/Hotshot-XL-Automatic1111

二、工具模型安装

1、AnimateDiff

分为SD1.5和SDXL两个模型。

模型下载链接为:

https://huggingface.co/guoyww/animatediff/tree/main

mm_sd_v15_v2.ckpt适用于SD1.5

mm_sdxl_v10_beta.ckpt适用于SDXL

模型下载后放到 stable-diffusion-webui根目录/extensions/sd-webui-animatediff/model

2、hotshot-xl

模型下载地址:

https://huggingface.co/hotshotco/Hotshot-XL/tree/main

下载949MB的那个模型,下载后放到:stable-diffusion-webui根目录/extensions/Hotshot-XL-Automatic1111/model

三、工具使用

AnimateDiff的效果比Hotshot-XL的效果要好

1、AnimateDiff

注意:FPS=16

2、Hotshot-xl

注意:FPS=8

参考配置:

相关推荐
九河云3 小时前
从 “制造” 到 “智造”:中国制造业数字化转型的突围之路
科技·ai·制造·数字化转型·传统
yeshan3334 小时前
使用 Claude Code 的自定义 Sub Agent 完善博文写作体验
ai·github·agent·claudecode
戴维-davy4 小时前
什么?智能体生成智能体?自我进化?
ai·agent·智能体
守城小轩9 小时前
从零开始学习Dify-数据库数据可视化(五)
ai·ai客服·ai浏览器
YXWik617 小时前
Linux(centos7)安装 docker + ollama+ deepseek-r1:7b + Open WebUI(内含一键安装脚本)
linux·docker·ai
charlee441 天前
行业思考:不是前端不行,是只会前端不行
前端·ai
豌豆花下猫1 天前
Python 潮流周刊#112:欢迎 AI 时代的编程新人
后端·python·ai
鹿先森AI探索之路1 天前
本地部署Dify教程
人工智能·docker·ai
连合机器人1 天前
酷暑来袭,科技如何让城市清凉又洁净?
人工智能·ai·有鹿机器人·连合直租·智能清洁专家
努力一点9481 天前
linux系统底层逻辑 开机顺序 ubuntu22.04系统
linux·运维·服务器·ubuntu·ai·gpu算力