【AI学习-comfyUI学习-第十九节-comtrolnet艺术线处理器工作流-各个部分学习】

【AI学习-comfyUI学习-第十九节-comtrolnet艺术线处理器工作流-各个部分学习】

1,前言

最近,学习comfyUI,这也是AI的一部分,想将相关学习到的东西尽可能记录下来。

2,说明

1,第十九节-comtrolnet艺术线处理器工作流

这个工作流先用 LineArt 提取人物结构,再通过 ControlNet 把结构注入到生成过程中,最后由 Prompt 决定风格与配色,从而实现角色不崩、风格可控的二次创作。

3,流程

(1)调用模块

(2)输出 提示词

bash 复制代码
young anime male character,
short spiky dark blue hair, sharp eyes, confident smile,
arms crossed, standing pose,
wearing a casual sports jacket, blue and pink color scheme,
anime illustration, consistent character design,
indoor cozy wooden interior

(3)生成图片

(1)原图片

(2)生成图片


(4)整体流程结构图

bash 复制代码
原图
 ↓
LineArt 线稿提取
 ↓
ControlNet(用线稿约束生成)
 ↓
KSampler 采样(Prompt 决定风格)
 ↓
VAE 解码 → 最终图像

4,模块介绍

很多模型开始不知道,只能一步步学习。

1【LineArt 线稿预处理器(controlnet_aux)】

做什么

  • 从原图中 提取结构线条

  • 包括:

    • 轮廓
    • 五官线
    • 衣服边界
    • 姿态

输入

  • 原图 Image

关键参数

  • 分辨率:1024
  • 细化:disable

输出

  • LineArt 线稿图(黑底白线)

这一节点的本质

把"像素信息" → "结构信息"

📌 ControlNet 吃的不是颜色,是结构


2【ControlNet 加载器(lineart 模型)】

做什么

  • 加载一个 "专门理解线稿的模型"

你用的是

复制代码
control_v11p_sd15_lineart.pth

输入

  • LineArt 线稿
  • ControlNet 模型

输出

  • 可供 ControlNet 应用的结构约束

3【CLIP 文本编码器(正向 Prompt)】

做什么

  • 把你写的文字描述 → 转成模型能理解的向量

现在的 Prompt 在干什么?

  • 描述:

    • 人物(年轻男性、发型、表情)
    • 姿态(arms crossed)
    • 穿着(运动外套、蓝粉色)
    • 场景(室内、木质)

输入

  • Prompt 文本

输出

  • 正向条件(conditioning)

📌 这一部分决定风格和上色方式,不决定结构


4【CLIP 文本编码器(负向 Prompt)】

做什么

  • 告诉模型:哪些情况不允许出现

现在是空的(问题不大)

常见负向作用:

  • 防止崩脸
  • 防止写实
  • 防止手指错误

5【ControlNet 应用(旧版高级)】

⭐ 这是整个流程的"灵魂节点"

做什么

  • 线稿结构约束 注入到生成过程中

现在的关键参数

复制代码
权重:1.60
开始时间:0.000
结束时间:0.800

这三个参数是什么意思(一定要会讲)

✅ 权重(Strength)
  • 控制:线稿有多"硬"
  • 1.6 = 强制贴合线稿
✅ 开始时间 0.0
  • 从第一步就开始锁结构
✅ 结束时间 0.8
  • 最后 20% 采样允许模型自由"润色"

📌 这就是你这张图 结构没崩但颜色变了 的原因


5,细节部分

1,尝试很多才能,效果也不好

这次其实尝试了很多次,效果还是不好,这可能就是需要调试的部分。

不断调整参数,一点点调试

6,使用的工作流

https://download.csdn.net/download/qq_22146161/92481543

7,总结

这也算各一个开始吧,我也在学习摸索中。

相关推荐
jkyy2014几秒前
破解零售增长瓶颈,AI智能营养师成为保健品成交新引擎
大数据·人工智能·健康医疗·零售
llm大模型算法工程师weng7 分钟前
AI + Docker + K8s:云原生时代的运维提效实战
运维·人工智能·云原生
传说故事8 分钟前
【论文阅读】RL Token: Bootstrapping Online RL with Vision-Language-Action Models
论文阅读·人工智能·具身智能·rl
crossoverJie9 分钟前
OpenAI 收购 Python 工具链 uv 和 Ruff
开发语言·人工智能·python·uv
北顾笙98010 分钟前
深度学习day04
人工智能·深度学习
阳光普照世界和平12 分钟前
借力大模型,重构研发效能:全流程提效实战指南
大数据·人工智能·重构
龙文浩_13 分钟前
AI / 机器学习 / 深度学习,它们的关系、核心流程、算法、任务、训练逻辑
人工智能·python·深度学习·神经网络·机器学习
测试_AI_一辰13 分钟前
Agent & RAG 测试工程笔记 14:RAG门控层拆解:什么时候该答?什么时候必须拒绝?
人工智能·算法·ai·自动化·ai编程
大数据AI人工智能培训专家培训讲师叶梓14 分钟前
Fast-WAM:重构 WAMs 的效率与性能平衡
人工智能·重构·大模型·具身智能·人工智能讲师·大模型讲师·大模型培训
研究点啥好呢14 分钟前
3月24日GitHub热门项目推荐|让AI无所不能
人工智能·python·开源·github