5-29 有趣的指令Pix2Pix(P2P)

前言:

上一节我们介绍了ControlNet中使用IP-Adapter能力

本节主要介绍ControlNet中的指令P2P。

全称Pix2Pix,顾名思义是针对Pixel像素级别的操作和影响。实际上通俗的理解,我们可以认为,编写一个指令,去影响这个最终图片。

有点和Reference类似,不同的是一个通过图片,一个是通过文字,或者说指令。但最终形成的都是RA/SD处理过程中参考对象的内容或者数据。所以原理是一样的。

知识点:

  1. 指令P2P

基础官方知识:

使用 Instruct Pix2Pix 控制稳定的扩散。

模型文件:control_v11e_sd15_ip2p.pth

配置文件:control_v11e_sd15_ip2p.yaml

这是一个在Instruct Pix2Pix 数据集上训练的控制网络。

与官方的 Instruct Pix2Pix 不同,该模型是用 50% 指令提示和 50% 描述提示进行训练的。例如,"一个可爱的男孩"是描述提示,而"让男孩可爱"是指令提示。

因为这是一个 ControlNet,所以您无需为原始 IP2P 的双 cfg 调整而烦恼。并且,该模型可以应用于任何基本模型。

另外,"将其变成 X"之类的指令似乎比"将 Y 变成 X"效果更好。

使用随机种子 12345 进行非精心挑选的批次测试("使其着火"):

实战

这次我们学习用ControlNet中的 InstructP2P 类型。

关键字这里给它指令 【让它着火】 或 对等英文 set it on fire,

选择一个建筑物的原图, ControlNet配置类型

结果出来的图片, 真的着火了。。。。。可以看到,大火的结构样子还是和这个建筑物有点关系的。 。

这样看来,你给的指令可以有很多。比如让2个人打架。。。。

作为对比, 如果没有ControlNet的参考图控制, 则出来的结果啥也不是

RA/SD 衍生者AI训练营

相关推荐
春日见3 小时前
丝滑快速拓展随机树 S-RRT(Smoothly RRT)算法核心原理与完整流程
人工智能·算法·机器学习·路径规划算法·s-rrt
陈文锦丫4 小时前
MixFormer: A Mixed CNN–Transformer Backbone
人工智能·cnn·transformer
小毅&Nora5 小时前
【人工智能】【AI外呼】系统架构设计与实现详解
人工智能·系统架构·ai外呼
jianqiang.xue6 小时前
别把 Scratch 当 “动画玩具”!图形化编程是算法思维的最佳启蒙
人工智能·算法·青少年编程·机器人·少儿编程
哥不是小萝莉6 小时前
使用 Vibe Coding 构建 AI 自动化评测系统
ai·vibe coding
SEO_juper6 小时前
别再纠结LLMs.txt了!它背后的真相与最佳使用场景,一文讲透。
开发语言·ai·php·数字营销
Coding茶水间7 小时前
基于深度学习的安全帽检测系统演示与介绍(YOLOv12/v11/v8/v5模型+Pyqt5界面+训练代码+数据集)
图像处理·人工智能·深度学习·yolo·目标检测·计算机视觉
weixin79893765432...7 小时前
Vue + Express + DeepSeek 实现一个简单的对话式 AI 应用
vue.js·人工智能·express
nju_spy7 小时前
ToT与ReAct:突破大模型推理能力瓶颈
人工智能·大模型·大模型推理·tot思维树·react推理行动·人工智能决策·ai推理引擎
AI-智能7 小时前
别啃文档了!3 分钟带小白跑完 Dify 全链路:从 0 到第一个 AI 工作流
人工智能·python·自然语言处理·llm·embedding·agent·rag