SDXL使用animateDiff和hotshot-xl进行文生视频

截至2023.12.8号,目前市面上有两款适用于SDXL的文生视频开源工具,分别是AnimateDiff和hotshot-xl。

一、工具下载链接

(1)AnimateDiff的webui版本的git链接:

GitHub - continue-revolution/sd-webui-animatediff: AnimateDiff for AUTOMATIC1111 Stable Diffusion WebUI

在文档中直接指出了这两个工具。

(2)hotShot-XL的webui版本的git链接:

GitHub - hotshotco/Hotshot-XL-Automatic1111

二、工具模型安装

1、AnimateDiff

分为SD1.5和SDXL两个模型。

模型下载链接为:

https://huggingface.co/guoyww/animatediff/tree/main

mm_sd_v15_v2.ckpt适用于SD1.5

mm_sdxl_v10_beta.ckpt适用于SDXL

模型下载后放到 stable-diffusion-webui根目录/extensions/sd-webui-animatediff/model

2、hotshot-xl

模型下载地址:

https://huggingface.co/hotshotco/Hotshot-XL/tree/main

下载949MB的那个模型,下载后放到:stable-diffusion-webui根目录/extensions/Hotshot-XL-Automatic1111/model

三、工具使用

AnimateDiff的效果比Hotshot-XL的效果要好

1、AnimateDiff

注意:FPS=16

2、Hotshot-xl

注意:FPS=8

参考配置:

相关推荐
哥不是小萝莉13 小时前
Hadoop和Spark大数据挖掘与实战
hadoop·ai·spark
-曾牛13 小时前
企业级AI开发利器:Spring AI框架深度解析与实战
java·人工智能·python·spring·ai·rag·大模型应用
-曾牛16 小时前
Spring AI 快速入门:从环境搭建到核心组件集成
java·人工智能·spring·ai·大模型·spring ai·开发环境搭建
自由鬼16 小时前
开源AI开发工具:OpenAI Codex CLI
人工智能·ai·开源·软件构建·开源软件·个人开发
豌豆花下猫20 小时前
Python 潮流周刊#99:如何在生产环境中运行 Python?(摘要)
后端·python·ai
深圳市快瞳科技有限公司21 小时前
当OCR遇上“幻觉”:如何让AI更靠谱地“看懂”文字?
人工智能·ai·ocr
带刺的坐椅1 天前
开发 MCP Proxy(代理)也可以用 Solon AI MCP 哟!
java·ai·llm·solon·mcp·mcp-server·mcp-client
Zhikes1 天前
潮了 低配电脑6G显存生成60秒AI视频 本地部署/一键包/云算力部署/批量生成
ai
yuanlaile1 天前
AI大模型自然语言处理能力案例演示
人工智能·ai·自然语言处理