name_en: Adding Conditional Control to Text-to-Image Diffusion Models
name_ch: 向文本到图像的扩散模型添加条件控制
paper_addr: http://arxiv.org/abs/2302.05543
date_read: 2023-08-17
date_publish: 2023-02-10
tags: ['图形图像','大模型','多模态']
author: Lvmin Zhang
code: https://github.com/lllyasviel/ControlNet
读后感
ControlNet 几乎是 Stable Diffusion 中最重要的功能插件，利用它可对画面内容进入精准控制。本文介绍了 ControlNet 的原理和具体功能。
ControlNet 是一种对文本生成图像的优化方法。比如：生成 AI 画作时，画面中人体的形态，面部表情都难以精准控制，ControlNet 基于图生图的操作方式，从另一图中提取对应元素，用于新图像的生成，大幅提升了人对大模型的控制力。
具体方法是调整网络结构，基于预训练的扩散模型，根据新输入的描述和指定任务对应的条件进一步训练模型。使模型既可以在小数据量（<50K）时在个人设备上训练，也可以在大数据量时在集群中训练。
其核心技术是在原大网络参数不变的情况下，叠加一个小型网络，以实现最终的调参。
背景知识
对于文本生成图片的大模型，往往需要考虑以下因素：
- 数据问题：在训练数据量不够大的情况下，解决过拟合/泛化问题。
- 资源问题：解决训练时间和内存问题，使模型在个人电脑上也能训练。
- 形式问题：支持各种图像处理问题具有不同形式的问题定义、用户控件或图像注释。
方法
ControlNet是一种网络结构。如图所示：
原始网络结构如图 2-a 所示，输入为x，输出为y，theta为网络参数；
y = F ( x ; θ ) y=F(x;\theta) y=F(x;θ)
加入了ControlNet的网络如图 2-b 所示，它将大模型的权重复制为"可训练副本"和"锁定副本"：锁定副本用于保留原网络能力，被锁定不参与调参；可训练副本在特定任务的数据集上根据条件c进行训练，以学习有条件控制；网络输出 y 为"可训练副本"和"锁定副本"两部分叠加的结果。
其中还加入了两个"零卷积"层 zero convolution（公式中的 Z），它是1x1且初始值为0的卷积层。
y c = F ( x ; θ ) + Z ( F ( x + Z ( c ; θ z 1 ) ; θ c ) ; θ z 2 ) y_c = F(x;\theta)+Z(F(x + Z(c;\theta_{z1});\theta_c);\theta_{z2}) yc=F(x;θ)+Z(F(x+Z(c;θz1);θc);θz2)
可想见，开始调参时，由于Z网络初值是0，y值只有等式左边部分，即保留了原始网络；后面逐步调参后，等式右边部分开始变化。
将该结构应用到扩散模型，如图-3所示：
左侧是基础网络，权重被锁定，右侧为 ControlNet 部分，只对其 Encoder 部分进行了调整，使模型训练仅需要增加约 23% 的 GPU 内存和 34% 的时间；同时由于左侧的原始网络参数不变，又使用了零卷积的方法，有效避免了直接在网络上调参带偏网络的问题，同时还可以使 ControlNet 的影响可调节。
其它
文章的 3.5 节及附录部分列出了几种常见的 ControlNet 控制方法，包含：控制人物表情和动作，控制场景深度，控制画面中的线条等，并展示了相应的效果图。可视作功能介绍和效果展示。
