Animatediff 工作流之神 Jerry Davos 新作! 使用Differential Diffusion使视频转绘生成稳定的背景。

今天给大家介绍一个新的ComfyUI工作流程,是Animatediff 工作流之神 Jerry Davos 新作。利用 Differential Diffusion 确保视频转绘的时候生成稳定的背景。

它可以使用蒙版对主体和背景进行不同的降噪值降噪,也可以设置它们的控制网为不同的强度。这样,你就可以拥有风格化的主体和稳定的背景。使用内置的舒适节点,通过微分扩散法 在主体和背景之间实现平滑过渡 。

相关链接

工作流下载:https://drive.google.com/drive/folders/1HoZxKUX7WAg7ObqP00R4oIv48sXCEryQ

使用教程:https://www.patreon.com/posts/v4-5-new-raw-112239304

工作流程中的新功能

更灵活的控制:

  1. 单独的主体和背景控制网设置

2)单独的主体和背景去噪设置

  1. 重新组织和快捷键以便更好、更快地访问。

由于现在此工作流程使用原始图像作为输入,它为渲染提供了极大的稳定性,并赋予其 vid2vid 效果。

因此,如果您只想风格化 25% 或 50%,您可以这样做,甚至还可以以不同的方式控制主体和背景的风格化级别。

另外,当渲染比例达到最高 50 - 70 % 时,Controlnets 无需在高设置下使用。较低的设置也可以获得良好的效果

使用此工作流程制作的渲染图:

模型下载

链接:https://drive.google.com/drive/folders/1h2761jX1caH5KfjFABQv8Lk4qEACh5Zz

ComfyUI界面

这是工作流程的全高清预览,可以在新选项卡中打开此图像进行放大。

  1. 降噪控制预览

  • 它们依赖于 Mask,因此它们在这里起着重要作用。raw 和 refine 都有不同的降噪控制,

  • 一般来说,你应该将 Refine 采样器的 Denoise 值保持在 0.5 以下,这样它就不会偏离太多

  • 如果您更改具有与原始布料颜色不同元素的提示,那么它将根据去噪级别产生影响。

  • 降噪值 1 将具有最大风格化,并与原始版本不同,这将更接近提示

  • 修复技巧:如果在背景去噪中设置 0,则可以拥有修复工作流程。

  1. Controlnet 设置预览

在之前的工作流程中,使用mask限制了Background上controlnet的使用,通过上面的方法也可以进行控制。

顺便说一句,我在测试中观察到,如果你要降噪到 0.3-0.5.... 控制网就没那么需要了。你可以设置一个一般的低值。

如果你有移动的背景,那么你可以设置更高的值,这样就不会感觉像"滑动"

  1. 上述内容的细分是从 2_0) Animation Raw 工作流程渲染的,其中

    • 主体降噪 0.75,背景降噪 0.3 - Raw

    • 主体降噪 0.45,背景降噪 0.3 - Refine

    • 对于ControlNet提取了Depth Anything v2 和 Anyline Passes。

    • 批次计数器-批次范围为50,重叠为10。

    • 渲染完所有帧后,使用Seamless maker 工作流程 v4 实现无缝过渡。

模型

链接: https://civitai.com/models/113447/helloflatcolorful2d

提示词

  1. 精修 - 无需使用精修器,因为只要操作得当,质量就足够了

  2. 面部修复 - 通常的面部修复工作流程

  3. 使用LivePortrait LipSync

相关推荐
0x2116 分钟前
[论文阅读]ReAct: Synergizing Reasoning and Acting in Language Models
人工智能·语言模型·自然语言处理
何大春16 分钟前
【视频时刻检索】Text-Video Retrieval via Multi-Modal Hypergraph Networks 论文阅读
论文阅读·深度学习·神经网络·计算机视觉·视觉检测·论文笔记
mucheni18 分钟前
迅为iTOP-RK3576开发板/核心板6TOPS超强算力NPU适用于ARM PC、边缘计算、个人移动互联网设备及其他多媒体产品
arm开发·人工智能·边缘计算
Jamence18 分钟前
多模态大语言模型arxiv论文略读(三十六)
人工智能·语言模型·自然语言处理
猿饵块30 分钟前
opencv--图像变换
人工智能·opencv·计算机视觉
LucianaiB38 分钟前
【金仓数据库征文】_AI 赋能数据库运维:金仓KES的智能化未来
运维·数据库·人工智能·金仓数据库 2025 征文·数据库平替用金仓
jndingxin1 小时前
OpenCV 图形API(63)图像结构分析和形状描述符------计算图像中非零像素的边界框函数boundingRect()
人工智能·opencv·计算机视觉
旧故新长1 小时前
支持Function Call的本地ollama模型对比评测-》开发代理agent
人工智能·深度学习·机器学习
微学AI1 小时前
融合注意力机制和BiGRU的电力领域发电量预测项目研究,并给出相关代码
人工智能·深度学习·自然语言处理·注意力机制·bigru
知来者逆1 小时前
计算机视觉——速度与精度的完美结合的实时目标检测算法RF-DETR详解
图像处理·人工智能·深度学习·算法·目标检测·计算机视觉·rf-detr