【算法简介】
技术有时会提高艺术，但有时也会破坏艺术。着色黑白电影是一个可以追溯到1902年的古老想法。几十年来，许多电影创作者反对将黑白电影着色的想法，并将其视为对艺术的破坏。但今天它被接受为艺术形式的增强。该技术本身已经从艰苦的手工着色转变为如今的自动化技术。如下图所示。
基于传统的计算机视觉方法以及发表了许多关于图像着色的论文。我最喜欢的一篇文章是名为Colorization using Optimization的论文。它使用了一些彩色涂鸦来指导解决着色的优化问题。论文见
如果算法不需要用户输入任何参数，这不是很酷的事情吗？在过去几年中，随着深度学习的发展，着色自动化取得了巨大的飞跃。在这篇文章中，我们将了解一个这样的着色深度学习模型。我们还共享OpenCV代码，以便在Python或C ++应用程序中使用经过训练的模型。
1 彩色图像着色
在ECCV 2016中，一篇名为Colorful Image Colorization的论文，提出了一个用于着色灰度图像的卷积神经网络。论文使用ImageNet训练集的130万像素训练网络，并公开了一个训练好的基于Caffe的模型。在这篇文章中，我们将首先定义着色问题，解释论文的架构细节，最后分享代码和一些有趣的结果。
论文原文：
1.1 定义着色问题
我们首先根据CIE Lab颜色空间定义颜色问题。与RGB颜色空间一样，它是3通道颜色空间，但与RGB颜色空间不同，颜色信息仅在a（绿红分量）和b（蓝黄分量）通道中编码。L（亮度）通道仅对亮度信息进行编码。
我们想要着色的灰度图像可以被认为是Lab颜色空间中图像的L通道，我们的目标是找到a和b分量。可以使用标准颜色空间变换将该Lab图像变换为RGB颜色图像。例如，在OpenCV中，这可以使用COLOR_BGR2Lab选项的cvtColor来实现。
为了简化计算，Lab颜色空间的ab空间进行312级量化，如图2所示。OpenCV会映射到0到312，由于这种量化我们只需找到0到312的数，而不是找到每个像素的a和b值。另一种思考问题的方法是我们已经有一个L通道，取值从0到255，我们需要找到一个取0到312之间值的ab通道。所以颜色预测任务现在是变成了多项分类问题，每个灰色像素有313个类可供选择。
1.2 CNN彩色化结构
Colorful Image Colorization这篇论文使用的CNN结构如下所示。类似与VGG网络，但是该CNN没有池化层或全连接层。
输入图像缩放为224×224，缩放后的灰度输入图像表示为X。当它通过上面显示的神经网络时，输出为：
的尺寸为H×W×Q，其中H=56和W=56是最后一个卷积层输出的高度和宽度。Q=313表示类别个数。对于每个H×W都有一个对应的值表示属于该类的概率。我们的目标是为每个概率分布
找到其对应的ab通道值。
【界面展示】
【效果展示】
【部分实现代码】
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Diagnostics;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using OpenCvSharp;
namespace FIRC
{
public partial class Form1 : Form
{
Mat src = new Mat();
ColorizeImager net=new ColorizeImager(Application.StartupPath+ "\\weights\\colorization_deploy_v2.prototxt", Application.StartupPath + "\\weights\\colorization_release_v2.caffemodel");
public Form1()
{
InitializeComponent();
}
private void button1_Click(object sender, EventArgs e)
{
OpenFileDialog openFileDialog = new OpenFileDialog();
openFileDialog.Filter = "图文件(*.*)|*.jpg;*.png;*.jpeg;*.bmp";
openFileDialog.RestoreDirectory = true;
openFileDialog.Multiselect = false;
if (openFileDialog.ShowDialog() == DialogResult.OK)
{
src = Cv2.ImRead(openFileDialog.FileName);
pictureBox1.Image = OpenCvSharp.Extensions.BitmapConverter.ToBitmap(src);
}
}
private void button2_Click(object sender, EventArgs e)
{
if(pictureBox1.Image==null)
{
return;
}
var resultMat = net.Inference(src);
pictureBox2.Image= OpenCvSharp.Extensions.BitmapConverter.ToBitmap(resultMat); //Mat转Bitmap
}
private void Form1_Load(object sender, EventArgs e)
{
}
}
}
【测试环境】
vs2019
netframework4.7.2
opencvsharp4.8.0
【演示视频】
https://www.bilibili.com/video/BV1es421T7zK/【C#源码下载】
https://download.csdn.net/download/FL1623863129/89450272
同时我也用python和C++都实现了使用这个算法进行图像上色
【C++源码下载】
https://download.csdn.net/download/FL1623863129/89449396
【python源码下载】