controlnet

Stable Diffusion绘画插件（ControlNet ）1.安装Stable Diffusion WebUI版；2.安装ControlNet插件。文后附模型下载链接。

RamendeusStudio

4.1-1 IS-NET-Pro视频转图片的插件IS-NET-Pro这个插件真的让人惊讶，可以视频转帧图片，也可以将帧图片序列转换成视频。同时还有抠图等功能。

RamendeusStudio

AI教我做事之RAG开发-21 RAGFlow深度研究检索增强生成（Retrieval-Augmented Generation, RAG）自2020年由Lewis等人提出以来，已成为AI领域的重要范式，尤其在需要外部知识支持的场景中表现出色。RAG Flow框架是对RAG的进一步抽象和优化，旨在通过定义清晰的数据流和模块化设计，提升系统的可扩展性、效率和适用性。本报告将深入探讨RAG Flow的架构、技术细节、实现方法，并提供示例代码，帮助读者理解其在实际应用中的价值。

RamendeusStudio

5-29 有趣的指令Pix2Pix(P2P)上一节我们介绍了ControlNet中使用IP-Adapter能力本节主要介绍ControlNet中的指令P2P。

RamendeusStudio

5-26 黑白照片上色-Recolor上一节我们介绍了如何制作艺术二维码本一节主要介绍ControlNet中的Recolor。重新上色。实际上我们针对颜色的处理可以使用语义分割，或者边缘检测后单独处理，reColor相对方便的内置算法，帮我们自动的一体化处理。

RamendeusStudio

5-27 临摹大师-IP-Adapter前一节我们主要介绍ControlNet中如何对黑白照片进行上色主要介绍ControlNet中的IP-Adapter。这个也是一种类似的风格借鉴，类似Reference的能力。

春末的南方城市

Huggingface Trending！可控人物图像生成统一框架Leffa，可精确控制虚拟试穿和姿势转换！今天给大家介绍一个Huggingface上虚拟试穿的热门项目Leffa，Leffa是一个可控人物图像生成的统一框架，可以精确操纵外观（即虚拟试穿）和姿势（即姿势转换）。从效果看生成效果很不错！

春末的南方城市

单幅图像合成 360° 3D 场景的新方法：PanoDreamer，可同时生成全景图像和相应的深度信息。论文介绍了一种从单幅图像合成 360° 3D 场景的新方法。该方法以连贯的方式生成全景图及其相应的深度，解决了现有最先进方法（如 LucidDreamer 和 WonderJourney 的局限性。这些方法按照生成轨迹依次添加细节，通常在循环回输入图像时导致可见的接缝。相比之下，该方法可确保整个 360° 场景的一致性，如图所示。黄色条显示每个结果中与输入相对应的区域。

Diffusion Policy——斯坦福机器人UMI所用的扩散策略：从原理到其编码实现(含Diff-Control、ControlNet详解)本文一开始是属于此文《UMI——斯坦福刷盘机器人：从手持夹持器到动作预测Diffusion Policy(含代码解读)》的第三部分，考虑后Diffusion Policy的重要性很高，加之后续还有一系列基于其的改进工作

【comfyui】ControlNet 辅助预处理器节点——controlnet_aux （线稿、深度图、法线、脸部身体姿态估计）（星2.1K）ComfyUI’s ControlNet Auxiliary （/ɔːɡˈzɪliəri/） Preprocessors 预处理器节点：https://github.com/Fannovel16/comfyui_controlnet_aux 参考代码：https://github.com/lllyasviel/ControlNet/tree/main/annotator huggingface部分模型：https://huggingface.co/lllyasviel/Annotators/tree/m

ControlNet on Stable Diffusion笔记来源： 1.Adding Conditional Control to Text-to-Image Diffusion Models 2.How to Use OpenPose & ControlNet in Stable Diffusion 3.ControlNet与DreamBooth：生成模型的精细控制与主体保持 4.Introduction to ControlNet for Stable Diffusion 5.Stable Diffusion — ControlNet Clearly Ex

Stable Diffusion 绘画入门教程（webui）-ControlNet(Shuffle）Shuffle(随机洗牌)，这个预处理器会把参考图的颜色打乱搅拌到一起，然后重新组合的方式重新生成一张图，可以想象出来这是一个整体风格控制的处理器。

Stable Diffusion 绘画入门教程（webui）-ControlNet(Tile/Blur）上篇文章介绍了y语义分割Seg，这篇文章介绍下Tile/Blur（增加/减少细节）Tile用于增加图片细节，一般用于高清修复，Blur用于减少图片细节（图片模糊），如下图，用Tile做修复：左边为原图（比较模糊），右边就是高清修复后的图（还是拿之前的小猫咪举例）：

Stable Diffusion 绘画入门教程（webui）-ControlNet(Recolor）Recolor，顾名思义就是重上色的意思，很明显能想到的用法就是老照片上色，也就是老照片修复，看下效果吧（左边为老旧照片，右边为重上色效果）：

Stable Diffusion 绘画入门教程（webui）-ControlNet(IP2P）上篇文章介绍了深度Depth，这篇文章介绍下IP2P（InstructP2P）, 通俗理解就是图生图，给原有图加一些效果,比如下图，左边为原图，右边为增加了效果的图：

Stable Diffusion 绘画入门教程（webui）-ControlNet(Seg）上篇文章介绍了深度Depth，这篇文章介绍下seg（Segmentation）意思为语义分割, 通俗理解就是把图中的不同物体元素按类别不同，标为不同的颜色，不同的颜色代表不同的元素类别，如下图，左边为原图，右边就是语义分割后的预览图（还是拿之前的房子举例）：

Stable Diffusion 绘画入门教程（webui）-ControlNet（深度Depth）上篇文章介绍了线稿约束，这篇文章介绍下深度Depth顾名思义，就是把原图预处理为深度图，而深度图可以区分出图像中各元素的远近关系，那么啥事深度图？下面就是

Stable Diffusion 绘画入门教程（webui）-ControlNet（姿态预处理器openpose）本片文章接着上篇文章ControlNet介绍他的控制类型，本篇介绍的预处理器为openpose预处理器：openpose 模型：control_v11p_sd15_openpose 没下载模型的看上篇文章去下载一下哦，不然用不了

Stable Diffusion 绘画入门教程（webui）-ControlNet（线稿约束）上篇文章介绍了openpose，本篇文章介绍下线稿约束，关于线稿约束有好几个处理器都属于此类型，但是有一些区别。

Stable Diffusion 绘画入门教程（webui）-ControlNetControlNet可以说在SD里有着举足轻重的地位，如果没有ControlNet，sd的可玩性和实用性将大大降低。