Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁

一、安装

1.1、安装ffmpeg

下载地址:

解压,配置环境变量 E:\AI\ffmpeg\bin

检查是否安装成功

1.2、安装SD的 EbSynth 插件

插件地址 https://github.com/s9roll7/ebsynth_utility

报错:ModuleNotFoundError: No module named 'extensions.ebsyynth_utility

将 目录 ebsyynth_utility-main 改为 ebsyynth_utility.

1.3、安装 EbSynth

从官网下载,解压即可

1.4、下载背景透明工具transparent-background

Pip install transparent-background

该代码执行还需要依赖模型文件,如果预先现在则在执行时会从google-driver中下载模型,如果网络不行则会下载失败。

模型下载地址:https://drive.google.com/uc?id=13oBl5MTVcWER3YU4fSxW3ATlVfueFQPY

1.5、安装 TemporalKit插件

也可以在webui 的 extensions 中安装

二、TemporalKit + EbSynth

2.1、使用TemporalKit 分割视频

2.1.0、参数

Sides 数量决定每张图片显示几张图

Border Key Frames

2.1.1、分拆结果

input 为每一帧

2.2、使用图生图

填入提示词

2.2.1、设置 ControlNet

2.2.1.1、配置第一个 为 Tile

2.2.1.2、配置第二个 为 SoftEdge

2.2.1.3、第三个配置为 depth

2.2.2、点击生成图片

选择觉得好的结果图片,记录好种子

2.2.3、批量处理

2.2.3.1、设置批处理输入输出路径

2.2.3.2、设置每个contorlnet 的 批处理输入路径

其他两个输入路径设置一样

然后点击生成

报错: 解决安装对应 pt

结果生成到output

2.3、Ebsynth-Process

生成结果:

2.4、使用 Ebsynth 处理key, frames图片

其他1-8的目录同样处理

2.5、recombine ebsynth (合并)

相关推荐
weiwei228445 天前
文生图模型Stable Diffusion使用详解
stable diffusion·文生图
Hello123网站5 天前
DreamStudio-Stable Diffusion官方绘画工具
stable diffusion·ai工具
如若1235 天前
CompVis Stable Diffusion 正确安装与运行指南
stable diffusion
全息数据10 天前
DDPM代码讲解【详细!!!】
深度学习·stable diffusion·多模态·ddpm
老鱼说AI19 天前
当自回归模型遇上扩散模型:下一代序列预测模型详解与Pytorch实现
人工智能·pytorch·深度学习·神经网络·语言模型·自然语言处理·stable diffusion
我希望的一路生花25 天前
Nik Collection 6.2全新版Nik降噪锐化调色PS/LR插件
人工智能·计算机视觉·设计模式·stable diffusion·aigc
GetcharZp25 天前
玩转AI绘画,你只差一个节点式“魔法”工具——ComfyUI 保姆级入门指南
人工智能·stable diffusion
Seeklike1 个月前
diffuxers学习--AutoPipeline
人工智能·python·stable diffusion·diffusers
游戏AI研究所1 个月前
ComfyUI 里的 Prompt 插值器(prompt interpolation / text encoder 插值方式)的含义和作用!
人工智能·游戏·机器学习·stable diffusion·prompt·aigc
迈火1 个月前
ComfyUI-3D-Pack:3D创作的AI神器
人工智能·gpt·3d·ai·stable diffusion·aigc·midjourney