文章目录
-
- [01 本篇要解决什么问题](#01 本篇要解决什么问题)
- [02 背景:为什么像素误差小,颜色仍可能平淡](#02 背景:为什么像素误差小,颜色仍可能平淡)
- [03 实操:把通道约定讲清楚](#03 实操:把通道约定讲清楚)
- [04 一个具体例子:完成一次灰度到彩色推理](#04 一个具体例子:完成一次灰度到彩色推理)
- [05 常见问题与自测](#05 常见问题与自测)
- [06 本篇回顾与下一步](#06 本篇回顾与下一步)
01 本篇要解决什么问题
同一件衣服可能是红色、绿色或蓝色,转成灰度以后却可能十分接近。让模型给灰度图上色,是让它预测一种合理颜色,而不是从灰度里读取原本就完整存在的RGB信息。
本篇复用BSDS300,把彩色原图生成灰度输入,训练一个小型U-Net输出RGB,完成一个不依赖额外标注的跨通道预测项目。
- 本篇关键词:灰度转换、一对多映射、编码器解码器、跳跃连接、L1回归。
- 完成标志:正确构造灰度/彩色配对,完成单通道输入、三通道输出和单图着色。
- 任务边界:这是轻量RGB回归基线,不保证恢复历史照片真实颜色,也不复现大规模着色论文。
02 背景:为什么像素误差小,颜色仍可能平淡
Colorful Image Colorization讨论了着色问题的不确定性,并采用颜色分类等策略。本篇先从更直接的连续RGB回归入门,借此看清输入、输出和损失之间的关系。
一块灰度区域可能对应多种颜色。像素回归会受到数据颜色分布和损失函数影响,模型可能倾向于保守、低饱和度的结果。这样的输出不一定只是程序写错,也可能反映任务本身的一对多关系和训练不足。
数据仍为BSDS300,使用与第20、21篇相同的160/40/100原图划分。网络没有从别处加载颜色知识,只有这些训练图片,不能期待两轮小样本训练就具备通用老照片修复能力。
03 实操:把通道约定讲清楚
(1)同一张原图生成输入与标签
原图读取成0~1的RGB Tensor,本版固定使用下面的灰度近似:
Y ′ = 0.299 R ′ + 0.587 G ′ + 0.114 B ′ . Y'=0.299R'+0.587G'+0.114B'. Y′=0.299R′+0.587G′+0.114B′.
这里对读取的RGB编码值加权,不把它当成线性光强的物理测量。训练输入为[1,H,W],标签为同位置的[3,H,W]RGB图。
python
def gray(x):
return .299*x[0:1]+.587*x[1:2]+.114*x[2:3]
先裁原始RGB图块、同步翻转,再生成灰度。这样无需为两种图像各自设置随机几何增强,也不会出现输入中的物体与标签错位。
(2)本篇直接预测RGB,暂不引入Lab变换
一种常见路线是将图像转到Lab空间,保留L、预测ab。本工程采用另一种明确约定:输入一通道灰度,输出三通道RGB,末层Sigmoid限定到0~1。
两种路线的通道含义和损失单位不同,不能拿一套Lab代码的归一化直接套在本工程上。RGB输出也不保证加权回灰度后与输入逐像素完全相等;若应用要求严格保留亮度,需要另加约束或调整表示。
(3)用跳跃连接保留空间结构
编码器提取局部与更大范围的信息,解码器恢复高宽,跳跃连接把浅层空间细节送给对应解码层。这里输出的是连续RGB值,而不是第18篇的前景概率。
python
import torch
from torch import nn
from torch.nn import functional as F
class ConvPair(nn.Sequential):
def __init__(self,cin,cout):
super().__init__(nn.Conv2d(cin,cout,3,padding=1),nn.ReLU(),
nn.Conv2d(cout,cout,3,padding=1),nn.ReLU())
class ColorUNet(nn.Module):
def __init__(self,width=16):
super().__init__()
self.enc1=ConvPair(1,width)
self.enc2=ConvPair(width,width*2)
self.bottom=ConvPair(width*2,width*4)
self.dec2=ConvPair(width*6,width*2)
self.dec1=ConvPair(width*3,width)
self.head=nn.Conv2d(width,3,1)
def forward(self,x):
a=self.enc1(x)
b=self.enc2(F.max_pool2d(a,2))
z=self.bottom(F.max_pool2d(b,2))
z=self.dec2(torch.cat([F.interpolate(z,size=b.shape[-2:],mode='bilinear',align_corners=False),b],1))
z=self.dec1(torch.cat([F.interpolate(z,size=a.shape[-2:],mode='bilinear',align_corners=False),a],1))
return self.head(z).sigmoid()
默认初始通道16,下采样两次,上采样显式对齐到跳跃特征高宽,因此可以处理奇数尺寸。这个小网络便于观察颜色预测流程,并未使用注意力或生成式颜色采样。
(4)L1监督和灰度复制基线
python
prediction_rgb = model(input_gray)
loss = torch.nn.functional.l1_loss(prediction_rgb, target_rgb)
本版对RGB全部元素取平均L1损失,按整图验证L1最低选择权重。评价同时记录"把灰度复制到RGB三通道"的基线:
python
gray_baseline = input_gray.expand(-1, 3, -1, -1)
基线没有增加颜色,却能提醒我们:输出一张彩色图不等于有效学习了颜色,短训练甚至可能连简单基线都没有超过。
(5)指标与观察各自回答什么
测试报告RGB MAE,以及同一协议下的MSE和PSNR。前者衡量平均通道绝对误差,后两者反映像素接近程度;都不能独立证明颜色语义合理。
应同时看天空、植被、皮肤或物体边缘是否出现不合理偏色,灰度层次是否被破坏,颜色是否只剩一种平均色。反过来,视觉合理但与原图不同的颜色,也可能得到较大像素误差。
本篇不把"看着鲜艳"直接当成效果提高,也不把一次像素误差作为着色质量的全部结论。进一步研究时,可考虑颜色分类、感知损失或条件生成,但需要相应评价方案。

图:原创教学示意。预测三通道RGB,不与Lab的L/ab表示混用。
04 一个具体例子:完成一次灰度到彩色推理
尚未下载时:
powershell
python examples/download_data.py --dataset bsds
小规模运行:
powershell
python examples/train_color.py --epochs 2 --width 8 --patch-size 32 --patches-per-image 2 --batch-size 2 --limit-train 4 --limit-val 2 --limit-test 2
python examples/visualize_run.py --run artifacts/22_color
完整教学划分的起点:
powershell
python examples/train_color.py --device cuda --epochs 30 --output artifacts/22_color_full
训练默认每张原图每轮采样4个64×64图块,验证、测试整图推理。入口如下,完整数据、模型和训练实现见公共代码附录。
python
"""Chapter22: grayscale to RGB regression."""
from vision_train import parser_for,train_project
if __name__=='__main__':
train_project('color',parser_for('color','artifacts/22_color').parse_args())
准备灰度图片后执行:
powershell
python examples/predict_image.py --checkpoint artifacts/22_color/best.pt --image data/my_gray.png --output artifacts/22_predict
读取灰度文件时先复制成RGB,再按同样权重得到单通道输入,不需要额外准备三个不同输入通道。输出为原高宽的RGB PNG和浮点数组,对照图保留模型实际预测。
实际老照片还可能有划痕、噪声、低对比度和扫描色偏。这些分布变化与"由干净彩色图生成灰度"的训练条件不同,应另行检查,不能把本篇模型当成完整照片修复流水线。
05 常见问题与自测
问题1:输入灰度文件只有一个通道,输出为什么有三个?
任务本来就是从灰度条件预测RGB颜色,输入与输出通道数可以不同。
问题2:把灰度复制三遍,就完成着色了吗?
得到的三个通道相同,仍是灰度显示。本篇把它作为基线。
问题3:本篇预测的是Lab的ab吗?
不是,直接预测RGB。颜色空间、范围和损失应按同一套约定使用。
问题4:loss下降,为什么还是灰灰的?
可能训练不足,也可能回归倾向保守颜色;需要结合数据规模、输出分布和任务多解性分析。
问题5:能证明恢复的是拍摄时的真实颜色吗?
不能。缺少额外信息时,灰度到颜色通常没有唯一答案。
06 本篇回顾与下一步
着色把我们带到"输出合理"与"像素完全一致"不总相同的任务。先明确颜色表示和数据配对,再讨论更丰富的损失与生成模型,理解会更稳。
| 中文 | 常见英文或写法 |
|---|---|
| 图像着色 | Image Colorization |
| 编码器解码器 | Encoder--Decoder |
| 跳跃连接 | Skip Connection |
| 多解性 | Ambiguity / One-to-many Mapping |
下一篇转向异常检测,看看重建误差如何成为一个样本分数。