【MAE】音频自监督训练Masked Autoencoders that Listen

note

声音 → 频谱图：把声音变成一张"热力图"，横轴是时间，纵轴是频率
这个Audio-MAE工作创新点：频谱图跟图片不一样------它局部相关性特别强。
- 图片里一个猫耳朵在左上角、尾巴在右下角，关系不大；
- 但频谱图里，低频和高频的谐波是绑在一起的，时间上相邻的音素也是连续的。所以作者给解码器加了"局部窗口注意力"------不让它一眼看全图，而是像戴了"隧道镜"一样，每次只看一小块区域再拼接。这样重构出来的声音细节更好，分类准确率也更高。
总结：把视觉 MAE 搬到了音频频谱图上，遮掉 80% 的 patch 只让模型看 20%，并给解码器加了"局部窗口注意力"来适配频谱的局部相关性，靠重构任务自监督预训练出一个强编码器。

文章目录

note

一、研究动机

《Masked Autoencoders that Listen》（Audio-MAE, NeurIPS 2022）

论文旨在将计算机视觉中成功的 Masked Autoencoders (MAE) 范式迁移至音频领域，解决当时音频自监督学习存在的几个核心痛点：

跨域迁移的次优性 ：当时主流的音频Transformer（如AST）依赖ImageNet预训练的视觉权重初始化。由于梅尔频谱图（Mel-spectrogram）与自然图像在语义和结构上存在显著差异（如频谱的局部强相关性、时频物理意义），这种跨模态迁移不仅存在领域偏差（Domain Shift），还会引入图像标签的偏见。
计算复杂度：Transformer的自注意力机制随序列长度呈二次增长，直接处理完整的频谱图Patch序列计算成本高昂。
现有方法的局限：当时的音频自监督方法（如SS-AST）通常对掩码和未掩码片段进行全量编码，或结合对比学习，未能充分利用MAE"仅编码可见Patch"带来的效率优势。

二、论文核心（Audio-MAE方法）

Audio-MAE沿用了MAE的Encoder-Decoder架构，并针对音频频谱特性做了关键改进：

输入与分块
将音频转为128维Mel频谱图，划分为非重叠的16×16 Patch。与某些重叠分块方法不同，作者发现非重叠在MAE框架下更能避免信息泄露，且计算更高效。
高比率掩码（Masking）
采用80%的高掩码率（类似图像MAE的75%），仅将20%的未掩码Patch送入Encoder。这大幅降低了计算量，并迫使模型学习全局上下文推理能力。支持非结构化（随机）和结构化（时间/频率轴）掩码策略。
Encoder（编码器）
使用标准ViT-Base（12层），仅处理未掩码的Patch，通过线性投影和正弦位置编码后输入。
Decoder with Local Attention（带局部注意力的解码器------核心改进）
这是区别于原始MAE的关键点。图像像素间全局依赖较强，而频谱图在时间和频率维度上具有极强的局部相关性 （如共振峰、谐波结构）。
- 全局注意力不足：Vanilla MAE的Decoder使用全局自注意力，对频谱局部结构建模不够精细。
- 局部/混合注意力 ：作者引入受Swin Transformer启发的Shifted Window Local Attention 或Hybrid (Global+Local) Attention，在解码重构时限制窗口内的注意力计算，更好地捕捉局部时频结构。
目标函数与微调
预训练使用MSE重构损失 （仅计算掩码Patch），发现单纯重构已足够，加入对比学习（InfoNCE）反而无增益。微调时丢弃Decoder，在Encoder后接平均池化和线性层进行分类，且微调阶段也探索了低比率（如30%）的结构化掩码作为正则化。

三、实验结果和分析

SOTA性能

在6个音频/语音分类任务上达到当时SOTA（仅使用AudioSet自监督预训练，无任何ImageNet或外部监督）：
- AudioSet-2M：47.3 mAP
- AudioSet-20K：37.1 mAP
- ESC-50：94.1%（后续补充实验达97.4%含监督微调）
- Speech Commands (SPC-2)：98.3%
- VoxCeleb (SID) ：94.8%
  显著优于同期基于ImageNet监督预训练的模型（如AST、PaSST）及其他自监督模型（如SS-AST、wav2vec 2.0）。
关键消融分析（Ablation Studies）
- 解码器注意力类型 ：Shifted Local Attention 明显优于 Global Attention（AS-20K: 37.1 vs 36.6），验证了频谱局部性的重要性。
- 掩码策略 ：
  - 预训练 ：高比率（80%）、非结构化随机掩码效果最好，任务难度适中利于表征学习。
  - 微调：低比率（30%）、结构化（Time+Frequency）掩码效果更好，起到正则化作用。
- 分块重叠：非重叠（16,16 stride）与重叠相比性能相当（47.3 mAP）但计算量更低（FLOPs 48.6 vs 130.5），证明高掩码下重叠带来的信息泄露风险大于收益。
- 跨域初始化对比 ：从零开始的音频自监督预训练（Audio-only）优于加载ImageNet MAE权重，证实了跨域迁移在自监督音频学习中的负迁移现象。
可视化与定性分析

即使在80%掩码下，带有局部注意力的Decoder能合理重构语音谐波、环境声（如警笛）和音乐结构。非结构化掩码重构对齐度高于结构化掩码（后者任务更难，时间轴掩码易导致单词缺失）。

四、总结

Audio-MAE证明了无需跨模态（图像）监督 ，直接在音频频谱上通过高掩码率MAE+局部注意力解码器进行自监督学习，能学到更强的通用音频表征，且在计算效率（仅编码20% Patch）和下游任务性能上均实现了突破。