SDXL使用animateDiff和hotshot-xl进行文生视频

截至2023.12.8号,目前市面上有两款适用于SDXL的文生视频开源工具,分别是AnimateDiff和hotshot-xl。

一、工具下载链接

(1)AnimateDiff的webui版本的git链接:

GitHub - continue-revolution/sd-webui-animatediff: AnimateDiff for AUTOMATIC1111 Stable Diffusion WebUI

在文档中直接指出了这两个工具。

(2)hotShot-XL的webui版本的git链接:

GitHub - hotshotco/Hotshot-XL-Automatic1111

二、工具模型安装

1、AnimateDiff

分为SD1.5和SDXL两个模型。

模型下载链接为:

https://huggingface.co/guoyww/animatediff/tree/main

mm_sd_v15_v2.ckpt适用于SD1.5

mm_sdxl_v10_beta.ckpt适用于SDXL

模型下载后放到 stable-diffusion-webui根目录/extensions/sd-webui-animatediff/model

2、hotshot-xl

模型下载地址:

https://huggingface.co/hotshotco/Hotshot-XL/tree/main

下载949MB的那个模型,下载后放到:stable-diffusion-webui根目录/extensions/Hotshot-XL-Automatic1111/model

三、工具使用

AnimateDiff的效果比Hotshot-XL的效果要好

1、AnimateDiff

注意:FPS=16

2、Hotshot-xl

注意:FPS=8

参考配置:

相关推荐
wflynn16 小时前
Google 观察到首个全自动化网络攻击,AI 框架已能独立完成漏洞利用
ai·技术
zdr尽职尽责17 小时前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
佛系18920 小时前
从服务端日志精确分离搜索抓取、监控探测与真实流量的实操清单
ai·大模型·seo·geo·结构化数据·indexnow
一起学安全技术1 天前
拆大模型 11|大模型面试拷问:12 问逐层拆
人工智能·ai·语言模型·面试·职场和发展·求职招聘
TomEval1 天前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
AI算力2 天前
企业调研——工业边缘计算隐形黑马,腾视科技以“硬件+算法”加速出海落地!
人工智能·ai·边缘计算·ai算力·无人叉车·物理ai·ainas
真上帝的左手2 天前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
七夜zippoe3 天前
流式输出:让 AI 回答像打字机一样实时返回(SSE 全链路实战)
人工智能·spring·ai·流式输出·ssf
装不满的克莱因瓶3 天前
【AI时代必学】一篇文章教会你从零搭建Serverless架构
java·人工智能·ai·云原生·架构·serverless
七夜zippoe3 天前
多轮对话管理:Session/记忆在 Java 后端怎么存(存储设计实战)
java·开发语言·ai·session·记忆