comfyui从0到1开始学习-第三讲生图与降噪实验

今天是第三天,我们开始学习图生图吧:

图生图说的就是:给 ComfyUI 一张原图,让它按照你的提示词重新绘制。

昨天我们主要学的是文生图:

文字提示词 → 空Latent图像 → K采样器 → VAE解码 → 保存图像

今天我们改成图生图:

原图 → VAE编码 → K采样器 → VAE解码 → 保存图像

首先我们新建一个工作流:

插入相关的节点:

第一个节点加载图片的节点(load image)

第二个节点:VAE编码节点:

第三个节点:Checkpoint加载器(其是这个应该是第一个放的,但是无所谓的)

其余的节点:K采样器,两个CLIP文本编码,VAE解码,保存图像

接下来就是最好玩的地方了,我们需要将各个节点连接起来:

具体来说,加载图像节点:图像 → VAE编码 的 像素。这个遮罩(mask)可以不用管

Checkpoint加载器(简易)节点:模型→ K采样器模型;CLIP→ 两个CLIP文本编码;

VAE→ vae编码的vae和vae解码的vae,其余部分看着我们下图连接就可以了

加下来我们分别尝试不同的降噪对最终图片的影响:

我们使用这一张图:

正面提示词使用这个:

a cute orange cat sitting by a window, warm sunset light, highly detailed fur, soft shadows, realistic, cozy atmosphere, cinematic lighting

负向提示词使用这个:

low quality, blurry, deformed, extra limbs, watermark, text, ugly

K采样器先这样设置:

采样器:euler

调度器:normal

steps:20

cfg:7

seed:111111

我们只改变降噪 denoise

依次测试:0.35,0.5,0.75,1.00

首先:降噪0.35:可以看到变化很小。猫的位置、窗户、光线大体都保留,只是细节稍微重绘。

这个比较适合:轻微修图,保留原图构图,让图片更精致一点

降噪0.5:

变化适中。还看得出原图,但猫的细节、窗边环境、光影会明显变化。

适合:常规图生图,改风格,增强细节

降噪0.75:

变化很大。原图结构还在一点点,但 AI 会开始重新发挥。

适合:大幅重绘,换风格,换氛围

降噪1.0:

几乎等于重新生成。原图影响会很弱,有时就不像原图了。

适合:不太想保留原图,只想借一点构图

补充知识点:

mask(遮罩):可以理解成:告诉 AI 哪些地方要改,哪些地方不要改。

通常是:

白色区域:要处理 / 要修改

黑色区域:保留不动

这个我们在以后的局部重绘,修脸,只改衣服,只改背景,擦掉一个东西再重画的时候才会使用

因为我们现在学习的是最基础的 图生图(img2img),不是局部重绘(inpaint)。所以这个mask以后再看

相关推荐
一隅论数智6 天前
给AI一张“业务概念地图“:本体如何从哲学走向企业智能
大数据·人工智能·经验分享·笔记·学习·学习方法·政务
XiHongShi20166 天前
STM32F407 RTC定时器例程,建议保存
stm32·单片机·学习
爱吃苹果的日记本6 天前
离散数学第六课
学习·离散数学
AI职业加油站6 天前
AI智能体应用工程师证书:政策红利下的职业新风口
大数据·运维·人工智能·学习·职场发展
旖旎夜光6 天前
力控面试题 01.01: 判定字符是否唯一(位运算) —— 题解
c++·学习·算法·leetcode·力控
奇思妙想聪明勤奋的小羊6 天前
DeepAgents第5章:子Agent 与上下文隔离—让 Agent学会委派
人工智能·python·学习·语言模型
霍霍的袁6 天前
【C++】map 和 set 的使用 | 从用法到底层
开发语言·c++·学习·visual studio
彧azz6 天前
Linux 环境下 Redis 学习总结:数据类型、持久化、锁、事务、主从与缓存问题
linux·redis·笔记·学习·面试
我爱cope6 天前
【操作系统 | 计算机硬件:CPU、内存与 I/O 如何支撑操作系统?】
学习·操作系统