YOLO中的数据增强|Mixup、Copy-paste、Mosaic解释

🌲🌲🌲前言

从事算法的同学们都应该了解数据在模型效果上的重要性,海量的数据📊更是能"大力出奇迹",但现实中数据往往没有那么理想。在自然界中,有的类别能采集到的图片数量是十分稀少的,这种样本不均衡的问题会导致该类的精度较低;目标检测这种需要用矩形框、多边形框标注物体位置的任务,往往会消耗大量的人力物力和时间。

针对这个问题,研究者们🧑‍🎓提出了各种各样的解决方法和研究课题。一种方法是使用自监督学习,只需要收集大量的图片,并不需要额外给图片打标注,让模型自动化地学习数据内里的特征。一种方法是研究少样本学习方法,比如元学习等,这里就不展开了。还有一种方法是最简单的,就是对数据做各种各样的变换,让模型学到更多的特征。

YOLO中常用的随机翻转、旋转、HSV变换这里先不赘述了,这篇博客将重点介绍YOLO中常用的Mixup、Copy-Paste和Mosaic方法,这些方法都是将多张图片贴合在一起,作为一张图片喂进神经网络中。

1⃣️Mixup

Mixup指的是随机在训练集中抽取两类,用线性插值方法将他们混合在一起。如下图将猫狗🐱🐶按一定比例融合到一张图片中,这张图片的输出标签也按一定比例计算。

即输入为:

<math xmlns="http://www.w3.org/1998/Math/MathML"> x 猫狗混合 = λ x 猫 + ( 1 − λ ) x 狗 x_{猫狗混合} = \lambda x_猫 + (1-\lambda) x_狗 </math>x猫狗混合=λx猫+(1−λ)x狗

输出标签为:

<math xmlns="http://www.w3.org/1998/Math/MathML"> y 猫狗混合 = λ y 猫 + ( 1 − λ ) y 狗 y_{猫狗混合} = \lambda y_猫 + (1-\lambda) y_狗 </math>y猫狗混合=λy猫+(1−λ)y狗

这就构成了一个新的输入和标签样本: <math xmlns="http://www.w3.org/1998/Math/MathML"> ( x 猫狗混合 , y 猫狗混合 ) (x_{猫狗混合},y_{猫狗混合}) </math>(x猫狗混合,y猫狗混合)。

为什么这样做能让模型更鲁棒呢?论文 《mixup: Beyond Empirical Risk Minimization》解释了原理。

在机器学习中,模型的风险分为三种------经验风险、期望风险和结构风险。期望风险指的是理想情况下的模型损失,即对世界上所有存在的样本求损失,这当然是不可能实现的,期望损失为:

<math xmlns="http://www.w3.org/1998/Math/MathML"> I ( f ( x ) , y ) I(f(x),y) </math>I(f(x),y)为模型输出的损失, <math xmlns="http://www.w3.org/1998/Math/MathML"> P ( x , y ) P(x,y) </math>P(x,y)为样本的联合概率分布。

而经验风险就是平时我们常用的损失函数,即给定有限的训练集( <math xmlns="http://www.w3.org/1998/Math/MathML"> x i , y i x_i,y_i </math>xi,yi),求出在这个训练集上的平均损失作为参考:

深度学习模型学到的内容强依赖于训练集,在跟训练集同分布的测试集上效果可能很好,但只要让测试集的分布跟训练集稍有差异,性能就会下降,所以模型泛化能力不足的体现。让模型对自己的输出结果少一些"自信",可以缓解模型在训练集上过拟合,这里将 <math xmlns="http://www.w3.org/1998/Math/MathML"> x x </math>x和 <math xmlns="http://www.w3.org/1998/Math/MathML"> y y </math>y同时变成概率分布,让模型去学习概率分布,而不是一个确定的标签输出,本人觉得这个思路跟label smoothing有异曲同工之妙。

2⃣️copy-paste 方法

copy-paste方法是谷歌团队在2021年提出的一种简单有效的数据增强方法。它将位于不同图片中的实例类别,粘贴到同一张图片中。

先将实例随机翻转,按不同的尺度调整大小,论文中提到了Large Scale Jittering和Standard Scale Jittering,前者的调整幅度较大,后者的调整幅度较小。对实例进行尺度调整能让模型更好地学习大小目标的特征。

Large Scale Jittering: 将图片的尺寸调整到原图的0.1~2.0倍

Standard Scale Jittering: 将图片的尺寸调整到原图的0.8~1.25倍

将两个实例融合粘贴到一起,增强后的图片 <math xmlns="http://www.w3.org/1998/Math/MathML"> I n I_n </math>In为:

<math xmlns="http://www.w3.org/1998/Math/MathML"> I n = I 1 × a + I 2 × ( 1 − a ) I_n =I_1 × a + I_2 × (1-a) </math>In=I1×a+I2×(1−a)

<math xmlns="http://www.w3.org/1998/Math/MathML"> I 1 I_1 </math>I1为从原图抠下来要被粘贴的实例, <math xmlns="http://www.w3.org/1998/Math/MathML"> I 2 I_2 </math>I2为主图片。为了平滑两张图片的边缘,这里使用了高斯平滑方法,实验结果表明,不要融合方法也对结果没有任何影响。

作者比较了一下用coco数据集测试了copy-paste策略在 Mask R-CNN上的性能。可以看到copy-paste方法比mixup方法精度更高,Large Scale Jittering尺度调整方法比Standard Scale Jittering的更好,这里我觉得是因为物体尺寸之间的差别越大,网络能学习的尺寸变多了。

3⃣️Mosaic

比起copy paste方法要将实例从图片中抠出来,在YoloV4方法中提出的Mosaic数据增强更加简单,先将四张图片做各种变换(比如翻转、调整尺寸等),再将他们拼贴在一起,作为网络的输入。这种方法不仅能提升模型的鲁棒性,也能减少mini-batchsize,加快训练的速度。

相关推荐
江_小_白5 分钟前
自动驾驶之激光雷达
人工智能·机器学习·自动驾驶
yusaisai大鱼1 小时前
TensorFlow如何调用GPU?
人工智能·tensorflow
LNTON羚通2 小时前
摄像机视频分析软件下载LiteAIServer视频智能分析平台玩手机打电话检测算法技术的实现
算法·目标检测·音视频·监控·视频监控
哭泣的眼泪4083 小时前
解析粗糙度仪在工业制造及材料科学和建筑工程领域的重要性
python·算法·django·virtualenv·pygame
珠海新立电子科技有限公司4 小时前
FPC柔性线路板与智能生活的融合
人工智能·生活·制造
IT古董4 小时前
【机器学习】机器学习中用到的高等数学知识-8. 图论 (Graph Theory)
人工智能·机器学习·图论
Microsoft Word4 小时前
c++基础语法
开发语言·c++·算法
曼城周杰伦4 小时前
自然语言处理:第六十三章 阿里Qwen2 & 2.5系列
人工智能·阿里云·语言模型·自然语言处理·chatgpt·nlp·gpt-3
天才在此4 小时前
汽车加油行驶问题-动态规划算法(已在洛谷AC)
算法·动态规划
余炜yw5 小时前
【LSTM实战】跨越千年,赋诗成文:用LSTM重现唐诗的韵律与情感
人工智能·rnn·深度学习