Deep Image Matting:深度学习Matting开山之作

论文:https://arxiv.org/pdf/1703.03872.pdf

代码:GitHub - foamliu/Deep-Image-Matting-PyTorch: Deep Image Matting implementation in PyTorch

1、动机

在此之前的Matting方法要么是用传统方法,要么是传统+深度学习的组合,他们都难以达到理想效果。因此,本文提出了一个利用trimap来作为辅助输入,并完全使用深度学习方法来进行Matting的方法,这开创了trimap-based Deep Learning Matting的先河。

此外,考虑到此前数据集的匮乏,作者还提出了一个比较大的数据集,包含49300张训练图像和1000张测试图像。

2、方法

尽管是比较早的Matting方法,且是trimap-based的,但了解其内容仍对我们了解利用深度学习进行Matting的基础知识掌握有着积极作用。下面我们就简单了解一些该paper的主要思想。

本文主要提出了一个两阶段的Matting网络,第一阶段利用一个Encoder-Decoder获取alpha matte,第二阶段利用一个小型的残差网络对第一阶段得到的alpha matte进行细化。具体结构如图所示:
图3. 网络包括两个阶段,一个编码器-解码器阶段和一个细化阶段

网络包含两个阶段:

  • 第一阶段,原图+trimap一起送入Encoder-Decoder,得到raw alpha;
  • 第二阶段,raw alpha和原图一起送入一个小型残差网络,得到细化的alpha;

两个阶段各有其损失函数:

第一阶段中包含两个损失,raw alpha与GT之间的预测loss,以及成分loss:

第二阶段只有一个损失,是细化后的alpha和GT之间的loss,同上面的公式(2)。

3、实验结果

相关推荐
Kun Li9 个月前
ViTMatte:Boosting image matting with pretrained plain vision transformers
人工智能·抠图·matting