【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB

文章目录

01 本篇要解决什么问题

同一件衣服可能是红色、绿色或蓝色,转成灰度以后却可能十分接近。让模型给灰度图上色,是让它预测一种合理颜色,而不是从灰度里读取原本就完整存在的RGB信息。

本篇复用BSDS300,把彩色原图生成灰度输入,训练一个小型U-Net输出RGB,完成一个不依赖额外标注的跨通道预测项目。

  • 本篇关键词:灰度转换、一对多映射、编码器解码器、跳跃连接、L1回归。
  • 完成标志:正确构造灰度/彩色配对,完成单通道输入、三通道输出和单图着色。
  • 任务边界:这是轻量RGB回归基线,不保证恢复历史照片真实颜色,也不复现大规模着色论文。

02 背景:为什么像素误差小,颜色仍可能平淡

Colorful Image Colorization讨论了着色问题的不确定性,并采用颜色分类等策略。本篇先从更直接的连续RGB回归入门,借此看清输入、输出和损失之间的关系。

一块灰度区域可能对应多种颜色。像素回归会受到数据颜色分布和损失函数影响,模型可能倾向于保守、低饱和度的结果。这样的输出不一定只是程序写错,也可能反映任务本身的一对多关系和训练不足。

数据仍为BSDS300,使用与第20、21篇相同的160/40/100原图划分。网络没有从别处加载颜色知识,只有这些训练图片,不能期待两轮小样本训练就具备通用老照片修复能力。

03 实操:把通道约定讲清楚

(1)同一张原图生成输入与标签

原图读取成0~1的RGB Tensor,本版固定使用下面的灰度近似:

Y ′ = 0.299 R ′ + 0.587 G ′ + 0.114 B ′ . Y'=0.299R'+0.587G'+0.114B'. Y′=0.299R′+0.587G′+0.114B′.

这里对读取的RGB编码值加权,不把它当成线性光强的物理测量。训练输入为[1,H,W],标签为同位置的[3,H,W]RGB图。

python 复制代码
def gray(x):
    return .299*x[0:1]+.587*x[1:2]+.114*x[2:3]

先裁原始RGB图块、同步翻转,再生成灰度。这样无需为两种图像各自设置随机几何增强,也不会出现输入中的物体与标签错位。

(2)本篇直接预测RGB,暂不引入Lab变换

一种常见路线是将图像转到Lab空间,保留L、预测ab。本工程采用另一种明确约定:输入一通道灰度,输出三通道RGB,末层Sigmoid限定到0~1。

两种路线的通道含义和损失单位不同,不能拿一套Lab代码的归一化直接套在本工程上。RGB输出也不保证加权回灰度后与输入逐像素完全相等;若应用要求严格保留亮度,需要另加约束或调整表示。

(3)用跳跃连接保留空间结构

编码器提取局部与更大范围的信息,解码器恢复高宽,跳跃连接把浅层空间细节送给对应解码层。这里输出的是连续RGB值,而不是第18篇的前景概率。

python 复制代码
import torch
from torch import nn
from torch.nn import functional as F

class ConvPair(nn.Sequential):
    def __init__(self,cin,cout):
        super().__init__(nn.Conv2d(cin,cout,3,padding=1),nn.ReLU(),
                         nn.Conv2d(cout,cout,3,padding=1),nn.ReLU())

class ColorUNet(nn.Module):
    def __init__(self,width=16):
        super().__init__()
        self.enc1=ConvPair(1,width)
        self.enc2=ConvPair(width,width*2)
        self.bottom=ConvPair(width*2,width*4)
        self.dec2=ConvPair(width*6,width*2)
        self.dec1=ConvPair(width*3,width)
        self.head=nn.Conv2d(width,3,1)

    def forward(self,x):
        a=self.enc1(x)
        b=self.enc2(F.max_pool2d(a,2))
        z=self.bottom(F.max_pool2d(b,2))
        z=self.dec2(torch.cat([F.interpolate(z,size=b.shape[-2:],mode='bilinear',align_corners=False),b],1))
        z=self.dec1(torch.cat([F.interpolate(z,size=a.shape[-2:],mode='bilinear',align_corners=False),a],1))
        return self.head(z).sigmoid()

默认初始通道16,下采样两次,上采样显式对齐到跳跃特征高宽,因此可以处理奇数尺寸。这个小网络便于观察颜色预测流程,并未使用注意力或生成式颜色采样。

(4)L1监督和灰度复制基线

python 复制代码
prediction_rgb = model(input_gray)
loss = torch.nn.functional.l1_loss(prediction_rgb, target_rgb)

本版对RGB全部元素取平均L1损失,按整图验证L1最低选择权重。评价同时记录"把灰度复制到RGB三通道"的基线:

python 复制代码
gray_baseline = input_gray.expand(-1, 3, -1, -1)

基线没有增加颜色,却能提醒我们:输出一张彩色图不等于有效学习了颜色,短训练甚至可能连简单基线都没有超过。

(5)指标与观察各自回答什么

测试报告RGB MAE,以及同一协议下的MSE和PSNR。前者衡量平均通道绝对误差,后两者反映像素接近程度;都不能独立证明颜色语义合理。

应同时看天空、植被、皮肤或物体边缘是否出现不合理偏色,灰度层次是否被破坏,颜色是否只剩一种平均色。反过来,视觉合理但与原图不同的颜色,也可能得到较大像素误差。

本篇不把"看着鲜艳"直接当成效果提高,也不把一次像素误差作为着色质量的全部结论。进一步研究时,可考虑颜色分类、感知损失或条件生成,但需要相应评价方案。

图:原创教学示意。预测三通道RGB,不与Lab的L/ab表示混用。

04 一个具体例子:完成一次灰度到彩色推理

尚未下载时:

powershell 复制代码
python examples/download_data.py --dataset bsds

小规模运行:

powershell 复制代码
python examples/train_color.py --epochs 2 --width 8 --patch-size 32 --patches-per-image 2 --batch-size 2 --limit-train 4 --limit-val 2 --limit-test 2
python examples/visualize_run.py --run artifacts/22_color

完整教学划分的起点:

powershell 复制代码
python examples/train_color.py --device cuda --epochs 30 --output artifacts/22_color_full

训练默认每张原图每轮采样4个64×64图块,验证、测试整图推理。入口如下,完整数据、模型和训练实现见公共代码附录。

python 复制代码
"""Chapter22: grayscale to RGB regression."""
from vision_train import parser_for,train_project

if __name__=='__main__':
    train_project('color',parser_for('color','artifacts/22_color').parse_args())

准备灰度图片后执行:

powershell 复制代码
python examples/predict_image.py --checkpoint artifacts/22_color/best.pt --image data/my_gray.png --output artifacts/22_predict

读取灰度文件时先复制成RGB,再按同样权重得到单通道输入,不需要额外准备三个不同输入通道。输出为原高宽的RGB PNG和浮点数组,对照图保留模型实际预测。

实际老照片还可能有划痕、噪声、低对比度和扫描色偏。这些分布变化与"由干净彩色图生成灰度"的训练条件不同,应另行检查,不能把本篇模型当成完整照片修复流水线。

05 常见问题与自测

问题1:输入灰度文件只有一个通道,输出为什么有三个?

任务本来就是从灰度条件预测RGB颜色,输入与输出通道数可以不同。

问题2:把灰度复制三遍,就完成着色了吗?

得到的三个通道相同,仍是灰度显示。本篇把它作为基线。

问题3:本篇预测的是Lab的ab吗?

不是,直接预测RGB。颜色空间、范围和损失应按同一套约定使用。

问题4:loss下降,为什么还是灰灰的?

可能训练不足,也可能回归倾向保守颜色;需要结合数据规模、输出分布和任务多解性分析。

问题5:能证明恢复的是拍摄时的真实颜色吗?

不能。缺少额外信息时,灰度到颜色通常没有唯一答案。

06 本篇回顾与下一步

着色把我们带到"输出合理"与"像素完全一致"不总相同的任务。先明确颜色表示和数据配对,再讨论更丰富的损失与生成模型,理解会更稳。

中文 常见英文或写法
图像着色 Image Colorization
编码器解码器 Encoder--Decoder
跳跃连接 Skip Connection
多解性 Ambiguity / One-to-many Mapping

下一篇转向异常检测,看看重建误差如何成为一个样本分数。

相关推荐
阿里云大数据AI技术22 分钟前
云栖实录|倍思科技 × 阿里云:让VOC洞察从“生成报告”走向“业务可用”
人工智能·elasticsearch·agent
AllData公司负责人1 小时前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng
数字新视界1 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术1 小时前
阿里云 EMR Serverless StarRocks(Stella)× Paimon:让多模态数据湖从“存得下”走向“找得到、用得上”
人工智能
class心平气和1 小时前
AI 赋能测试流程:从基础概念到测试全流程实战
人工智能
猿人谷1 小时前
遗传编程的未来:从进化搜索到自主发现求解方法
人工智能·深度学习·神经网络·ai-native
QuZhengRong1 小时前
【AI】Agent 全栈进阶|AgentScope 沙箱源码解析
python·学习·ai·agent·沙箱
字节跳动开源1 小时前
OpenViking 3D理解模型上线轴测八视图及PMI解析
人工智能·开源·aigc
阿里云大数据AI技术2 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent