FMix: Enhancing Mixed Sample Data Augmentation 论文阅读

1 Abstract

  • 近年来,混合样本数据增强(Mixed Sample Data Augmentation,MSDA)受到了越来越多的关注,出现了许多成功的变体,例如MixUp和CutMix。通过研究VAE在原始数据和增强数据上学习到的函数之间的互信息,我们展示了MixUp以一种CutMix不会的方式扭曲了学习到的函数。我们进一步通过展示MixUp作为一种对抗性训练的形式来证明这一点,它增加了对Deep Fool和Uniform Noise等攻击的鲁棒性,这些攻击产生的样本与MixUp生成的样本类似。我们认为,这种扭曲阻止了模型学习数据中的样本特定特征,有助于提高泛化性能。相比之下,我们认为CutMix更像是一种传统的增强,通过防止记忆来提高性能,而不会扭曲数据分布。然而,我们认为,一个基于CutMix构建的MSDA,包括任意形状的掩码(而不仅仅是正方形),可以在不扭曲数据分布的同时进一步防止记忆。为此,我们提出了FMix,这是一种使用通过将傅里叶空间中采样的低频图像应用阈值获得的随机二进制掩码的MSDA。这些随机掩码可以呈现出各种形状,并且可以用于一维、二维和三维数据。FMix在不增加训练时间的情况下,提高了多种模型在多个数据集和问题设置中的性能,甚至在没有外部数据的情况下,在CIFAR-10上获得了新的单模型最佳结果。我们展示了FMix在情感分类任务中可以胜过MixUp,并且在一维数据的三维点云分类中提供了基线的改进。最后,我们展示了插值MSDA(如MixUp)和掩码MSDA(如FMix)之间差异的一个后果是,两者可以结合使用以进一步提高性能。所有实验的代码可在https://github.com/ecs-vlc/FMix获取。

2 Strategy

  • 生成随机掩码: 首先,从傅里叶空间采样低频图像。这可以通过对复数 随机变量进行低通滤波来实现,其中滤波器的衰减功率由参数δ控制。这一步骤生成了一个灰度图像。

  • 转换为二进制掩码: 将上述灰度图像通过一个阈值操作转换为二进制掩码。这个阈值是根据给定的混合系数λ来设置的,以确保掩码的平均值为λ。这意味着在二进制掩码中,像素值根据其在灰度图像中的强度被设置为0或1。

  • 应用掩码: 使用生成的二进制掩码对数据集中的图像进行混合。具体来说,对于两个独立的随机变量X1和X2(代表数据集中的两个样本),使用掩码m进行元素级别的乘法操作,然后根据混合系数λ进行加权求和,得到增强后的样本。

3 Perfermance

4 Demo

注:这里只用了一张图像,没有叠加两张图像

clike 复制代码
mask = binarise_mask(make_low_freq_image(3, SHAPE), 0.5, SHAPE, 0.0)
相关推荐
张较瘦_2 小时前
[论文阅读] AI赋能 | 当AI看懂交通摄像头:多模态大模型零样本检测的实战报告
论文阅读·人工智能
cxr8282 小时前
BMAD框架实践:掌握story-checklist提升用户故事质量
前端·人工智能·agi·智能体·ai赋能
Dongsheng_20193 小时前
【汽车篇】AI深度学习在汽车零部件外观检测——机电轴承的应用
人工智能·深度学习·汽车
江瀚视野3 小时前
汽车价格战全面熄火了?不卷价格该卷什么?
人工智能·自动驾驶
资讯全球4 小时前
2025年智慧差旅平台推荐
人工智能
en-route5 小时前
从零开始学神经网络——LSTM(长短期记忆网络)
人工智能·深度学习·lstm
视觉语言导航5 小时前
CVPR-2025 | 具身导航指令高效生成!MAPInstructor:基于场景图的导航指令生成Prompt调整策略
人工智能·机器人·具身智能
wanhengidc5 小时前
云手机与人工智能之间的关系
人工智能·智能手机
Sic_MOS_780168245 小时前
超高密度2kW GaN基低压电机驱动器的设计
人工智能·经验分享·汽车·集成测试·硬件工程·能源