SDXL使用animateDiff和hotshot-xl进行文生视频

截至2023.12.8号,目前市面上有两款适用于SDXL的文生视频开源工具,分别是AnimateDiff和hotshot-xl。

一、工具下载链接

(1)AnimateDiff的webui版本的git链接:

GitHub - continue-revolution/sd-webui-animatediff: AnimateDiff for AUTOMATIC1111 Stable Diffusion WebUI

在文档中直接指出了这两个工具。

(2)hotShot-XL的webui版本的git链接:

GitHub - hotshotco/Hotshot-XL-Automatic1111

二、工具模型安装

1、AnimateDiff

分为SD1.5和SDXL两个模型。

模型下载链接为:

https://huggingface.co/guoyww/animatediff/tree/main

mm_sd_v15_v2.ckpt适用于SD1.5

mm_sdxl_v10_beta.ckpt适用于SDXL

模型下载后放到 stable-diffusion-webui根目录/extensions/sd-webui-animatediff/model

2、hotshot-xl

模型下载地址:

https://huggingface.co/hotshotco/Hotshot-XL/tree/main

下载949MB的那个模型,下载后放到:stable-diffusion-webui根目录/extensions/Hotshot-XL-Automatic1111/model

三、工具使用

AnimateDiff的效果比Hotshot-XL的效果要好

1、AnimateDiff

注意:FPS=16

2、Hotshot-xl

注意:FPS=8

参考配置:

相关推荐
Cosmoshhhyyy32 分钟前
MCP:cursor、claude code接入chrome-devtools-mcp。
ai·mcp
从孑开始11 小时前
ManySpeech —— 使用 C# 开发人工智能语音应用
ai·tts·asr·manyspeech·audiosep
oscar99913 小时前
Visual Studio Code 的 AI 插件汇总
ide·vscode·ai
AI绘画哇哒哒16 小时前
实战:SQL统一访问200+数据源,构建企业级智能检索与RAG系统(下)
人工智能·sql·深度学习·学习·ai·程序员·大模型
HyperAI超神经16 小时前
香港科技大学提出融合神经网络框架,高效预测蛋白质序列的多金属结合位点
人工智能·深度学习·ai
晨启AI20 小时前
Claude Code 实战指南(三):AI辅助开发工作流 Spec Workflow MCP教程
ai·实战·mcp·claude code
哪 吒21 小时前
本地安装Codex,国内直接使用GPT-5-Codex
gpt·ai·chatgpt·codex·gpt-5·gpt-5 codex
AganTee21 小时前
deepseek 电脑端怎么下载?网页版与本地部署教程
ai·deepseek
迦蓝叶1 天前
JaiRouter 多版本配置管理:一个轻量级多版本配置实现思路
网关·spring·ai·文件管理·版本管理·配置文件·回滚
DeeplyMind1 天前
rocr专栏介绍
linux·ai·amdgpu·rocm·rocr·libhsakmt·thunk