Stable Diffusion视频插件Ebsynth Utility安装方法

一、Ebsynth Utility制作视频的优势:

相比其他视频制作插件,Ebsynth Utility生成的视频,画面顺滑无闪烁,对显存要求相对不高。渲染速度也还可以接受。其基本过程为:

1、将参考视频分解为单个帧,并同时生成蒙板图;

2、根据要求生成关键帧;

3、将关键帧根据需要进行重绘,必要的话还要进行放大;

4、根据关键帧补齐(生成)过渡帧;

5、单帧合成视频。

二、Ebsynth Utility的安装:

1、根据网址安装插件:

安装网址为:

GitHub - s9roll7/ebsynth_utility: AUTOMATIC1111 UI extension for creating videos using img2img and ebsynth.

也可在绘世界面中的版本管理中安装:

安装完成后,会在"已安装"界面出现 这样的画面:

这说明插件安装已完成。但并不是说明插件就能正常工作,还有一些工作要做。

2、安装ffmpeg

因Ebsynth Utility插件的工作,涉及音视频的分解和合成,因此还需要相关工作环境的支撑。如你以前安装过让照片人物说话的插件SadTalker,ffmpeg也是必不可少的。

下载网址为:Download FFmpeg

请根据你的操作系统选择相应的下载文件。

将解压后的文件放在C盘或D盘某个公共文件夹下,最好不要放在某个插件文件夹下,以免你卸载这个插件后,其他不需要这个环境的插件工作不正常。将其中bin文件夹路径添加到环境变量中:

3、安装Transparent Background

这是Ebsynth Utility具备提取蒙板的基础。虽然绘世在运行时有加载Transparent Background过程,但可能因为网络原因,并不总是加载成功,自行安装仍是最佳选择。在命令窗口输入:

复制代码
pip install transparent-background

4、下载Ebsynth程序

下载网址为:

https://ebsynth.com/

这个软件是专门用来为关键帧生成补间画面的。

5、下载ckpt_base.pth(这一步不知是否为必须)

在安装Ebsynth Utility时,通常需要下载预训练的模型权重文件,如ckpt_base.pth。下载地址:

夸克网盘分享

在C盘/用户/用户名 /建一个".transparent-background"文件夹(注意前面有个"."),并将下载的- ckpt_base.pth文件放入该文件夹。

6、有些安装说明提到要一个分帧脚本Video2Frame-Frame2Video,里面有video2frame.py及multi_Frame_rendering.py两个文件,将其拷贝到如下图文件夹中。但下载了一些Video2Frame-Frame2Video,都没发现第二个文件。

需要说明的是,安装完后,重启系统,打开Ebsynth Utility面板,输入工程目录,选择一个视频,设置参数后运行步骤一,出现错误提示:

复制代码
Skip frame extraction
*** Error completing request
*** Arguments: (0, 'D:\\AI\\ss', 'C:\\Users\\Administrator\\AppData\\Local\\Temp\\gradio\\7da05a4544bf29b406fe1ac83a9b8a9bfdc8985c\\22.mp4', -1, -1, 0, 0.04, False, False, 'girl', '', 0.05, 11, 11, 5, 300, 8.5, True, 'hm-mkl-hm', True, False, False, 0, None, 1, 'mp4', '', 'Fit video length', 5, 0, 0, 'Normal') {}
    Traceback (most recent call last):
      File "D:\sd\sd-webui-aki-v4.1\modules\call_queue.py", line 74, in f
        res = list(func(*args, **kwargs))
      File "D:\sd\sd-webui-aki-v4.1\modules\call_queue.py", line 53, in f
        res = func(*args, **kwargs)
      File "D:\sd\sd-webui-aki-v4.1\modules\call_queue.py", line 37, in f
        res = func(*args, **kwargs)
      File "D:\sd\sd-webui-aki-v4.1\extensions\ebsynth_utility\ebsynth_utility.py", line 79, in ebsynth_utility_process
        ebsynth_utility_stage1(dbg, project_args, frame_width, frame_height, st1_masking_method_index, st1_mask_threshold, tb_use_fast_mode, tb_use_jit, clipseg_mask_prompt, clipseg_exclude_prompt, clipseg_mask_threshold, clipseg_mask_blur_size, clipseg_mask_blur_size2, is_invert_mask)
      File "D:\sd\sd-webui-aki-v4.1\extensions\ebsynth_utility\stage1.py", line 209, in ebsynth_utility_stage1
        create_mask_transparent_background(frame_path, frame_mask_path, tb_use_fast_mode, tb_use_jit, st1_mask_threshold)
      File "D:\sd\sd-webui-aki-v4.1\extensions\ebsynth_utility\stage1.py", line 151, in create_mask_transparent_background
        remover = Remover(fast=tb_use_fast_mode, jit=tb_use_jit, device=devices.get_optimal_device_name())
    TypeError: Remover.__init__() got an unexpected keyword argument 'fast'

根据错误提示,打开D:\sd\sd-webui-aki-v4.1\extensions\ebsynth_utility\stage1.py文件,将151行

复制代码
remover = Remover(fast=tb_use_fast_mode, jit=tb_use_jit, device=devices.get_optimal_device_name())  

将第一个参数 fast=tb_use_fast_mode去掉,保存后重新运行,目前再没出现错误提示。不知是否会有其他后遗症。

友情链接:

极域电子教室座位表程序下载链接:链接:https://pan.baidu.com/s/1X0WUTtXmr1EhFg9CNgoIKA?pwd=odvs

提取码:odvs

考试指令系统下载链接:https://pan.baidu.com/s/11x9fS1gUEPCd6w15KHCxSw?pwd=zvw3

提取码:zvw3

照片插入电子表格程序链接:https://pan.baidu.com/s/1dvW5q9G53prkUDVcO6uffA?pwd=w3jp

提取码:w3jp

相关推荐
墨风如雪16 小时前
告别机械音!VoxCPM 1.5开源,这才是我们要的“最强嘴替”
aigc
Blossom.11816 小时前
基于Embedding+图神经网络的开源软件供应链漏洞检测:从SBOM到自动修复的完整实践
人工智能·分布式·深度学习·神经网络·copilot·开源软件·embedding
t1987512816 小时前
电力系统经典节点系统潮流计算MATLAB实现
人工智能·算法·matlab
万悉科技16 小时前
比 Profound 更适合中国企业的GEO产品
大数据·人工智能
mqiqe16 小时前
vLLM(vLLM.ai)生产环境部署大模型
人工智能·vllm
V1ncent Chen16 小时前
机器是如何“洞察“世界的?:深度学习
人工智能·深度学习
AI营销前沿16 小时前
中国AI营销专家深度解析:谁在定义AI营销的未来?
人工智能
前端大卫17 小时前
【重磅福利】学生认证可免费领取 Gemini 3 Pro 一年
前端·人工智能
汽车仪器仪表相关领域17 小时前
LambdaCAN:重构专业空燃比测量的数字化范式
大数据·人工智能·功能测试·安全·重构·汽车·压力测试
璞华Purvar17 小时前
地方产投集团数字化平台建设实战:从内控管理到决策赋能(璞华公开课第5期活动回顾)
大数据·人工智能