文章目录
- TEASEL：一种基于Transformer的语音前缀语言模型
-
- 文章信息
- 研究目的
- 研究内容
- 研究方法
- 结果与讨论
- 代码和数据集
- 附录
TEASEL：一种基于Transformer的语音前缀语言模型
总结：论文提出了一种基于 Transformer 的语音前缀语言模型 TEASEL，实际本质是用了一个 RoBERTa 模型作为框架，然后加入了一个 LAA 模块（LAA模块就是将音频特征编码为 RoBERTa 编码器的前缀 token）。在训练的时候主要是训练 LAA 模块的参数，当 LAA 模块的参数收敛后，在CMU-MOSI数据集上面微调整个模型。
该论文在2021年就挂在arXiv上面了，但是一直没有发表，看了这篇论文之后，终于知道为什么没有发表了，论文里面有一些错误的地方，而且对自己方法的介绍稀里糊涂的，一些词用的很偏僻，很难以理解。但是最奇怪的是，作者没有提供代码，GitHub上面有人根据算法的思想实现了这个模型，并且在 MSA 任务上的一些指标竟然是 SOTA 的结果。所以本人参考代码，以及论文的思想，终于把这篇论文挖掘出来了。如果大家有不同的看法，欢迎留言 😃
文章信息
作者：Mehdi Arjmand，Mohammad Javad Dousti
单位：University of Tehran（德黑兰大学-伊朗）
会议/期刊：arXiv
题目：TEASEL: A transformer-based speech-prefixed language model
年份：2021
研究目的
解决在多模态语言学习（包括多模态情感分析与多模态情感识别）中，由于数据不足，难以训练一个关于多模态语言学习的自监督Transformer模型的问题。（换句话说，作者想要在不训练完整的Transformer模型的情况下，训练一个关于多模态语言学习的自监督 Transformer模型。）
研究内容
提出了一种基于Transformer的语音前缀语言模型TEASEL。与传统的语言模型相比，增加了语音模态作为动态前缀。该模型可以达到与花费较长时间重新训练Transformer相同的性能水平，而无需训练完整的Transformer模型。
研究方法
1.总体框图
该模型利用传统的预训练语言模型（指的就是RoBERTa ）作为跨模态注意力模块。从根本上来说，TEASEL 模型专注于将语音特征表示为RoBERTa的前缀（参考图中的 C A C_A CA）。
训练包含两个阶段：预训练和微调。
- 在预训练阶段，使用 LAA 模块学习语音模态的表征 ，以便在 RoBERTa 中插入语音模态，训练步骤相对较少（总共 8000 步）。（预训练阶段做的事情，就是对 LAA 模块进行训练）
- 在微调阶段，固定了 LAA 模块的大部分内容，并在 CMU-MOSI 数据集上微调了 RoBERTa 模型，将其作为多模态情感分析下游任务的跨模态 Transformer。（微调阶段做的事情，就是对 RoBERTa 模型进行了调参）
2.BERT-style Language Models（基准模型）
将 RoBERTa 模型作为 BERT-style Language Models（选择RoBERTa作为基准模型是因为RoBERTa是专门针对 [MaskedLM 任务](#MaskedLM 任务)训练的）。
RoBERTa tokenizer标记器将句子 L 分解为：
{ [ C L S ] , l 1 , l 2 , ... , l T L , [ S E P ] } = t o k e n i z e r ( L ) \{[CLS],l_{1},l_{2},\ldots,l_{T_{\mathbf{L}}},[SEP]\}=tokenizer(L) {[CLS],l1,l2,...,lTL,[SEP]}=tokenizer(L)
| 符号 | 含义 |
|---|---|
| l i ∈ R d l_i \in R_d li∈Rd | 每个token |
| T L T_L TL | 文本模态的时间步数（序列的长度） |
| [CLS] | 代表序列的开始，只关注[CLS]对应的输出 |
| [SEP] | 代表分割 |
| [MASK] | 代表屏蔽的token |
3.Speech Module
3.1Speech Temporal Encoder
选择 wav2vec 预先训练好的固定参数的 CNN 作为音频特征编码器，来提取音频特征。
{ z 1 , z 2 , ... , z T A ; z i ∈ R d A } = C N N θ w ( ψ ) \{z_1,z_2,\ldots,z_{T_{\mathbf{A}}};z_i\in\mathbb{R}^{d_A}\}=\mathrm{CNN}{\theta{\mathbf{w}}}(\psi) {z1,z2,...,zTA;zi∈RdA}=CNNθw(ψ)
| 符号 | 含义 |
|---|---|
| ψ \psi ψ | 原始的语音数据 |
| z i z_i zi | 第i个时间步对应的特征 |
3.2Lightweight Attentive Aggregation (LAA)
轻量级注意力聚合模块 LAA 的目的是将 Z（Z就是经过CNN提取的音频特征） 编码为 RoBERTa 编码器的前缀 token。
LLA 在提取的语音特征的顶部执行双向门控循环单元（BiGRU），以双向行为捕捉信息。然后利用聚合模块（Aggregation Module）将 BiGRU 的输出进行动态加权求和。
整体过程如下所示： （公式在原论文的基础上进行了修改，个人认为作者的公式在动态加权求和的时候有问题）
Z ^ = L a y e r N o r m ( Z ) ( 1 ) Φ = B i G R U ( W 1 ⊺ Z ^ + b 1 ) , ( 2 ) Φ = { { ϕ 1 , 1 , ... , ϕ 1 , T A } , { ϕ 2 , 1 , ... , ϕ 2 , T A } } , ( 3 ) u k , i = σ ( W A g g 1 T ϕ k , i + b A g g 1 ) , k ∈ { 1 , 2 } , i ∈ { 1 , T } ( 4 ) α k , i = S o f t m a x ( W A g g 2 I u k , i + b A g g 2 ) , α k , i ∈ [ 0 , 1 ] ( 5 ) C A = ∑ i = 1 T α k , i ϕ k , i ( 6 ) \begin{gathered} \hat{Z}=LayerNorm(Z)\quad(1)\\ \\ \Phi=BiGRU(W_{1}^{\intercal}\hat{Z}+b_{1}), \quad(2)\\ \\ \Phi=\{\{\phi_{\mathbf{1},1},\ldots,\phi_{\mathbf{1},T_{\mathbf{A}}}\},\{\phi_{\mathbf{2},1},\ldots,\phi_{\mathbf{2},T_{\mathbf{A}}}\}\}, \quad(3)\\ \\ u_{k,i}=\sigma(W_{Agg_1}^\mathsf{T}\phi_{k,i}+b_{Agg_1}),k\in\{1,2\},i \in {\{1,T\}}\quad(4)\\ \\ \alpha_{k,i}=Softmax(W_{Agg_2}^{\mathsf{I}}u_{k,i}+b_{Agg_2}),\alpha_{k,i}\in[0,1]\quad(5)\\ \\ \mathcal{C}\mathbf{A}=\sum{i=1}^T\alpha_{k,i}\phi_{k,i} \quad(6) \end{gathered} Z^=LayerNorm(Z)(1)Φ=BiGRU(W1⊺Z^+b1),(2)Φ={{ϕ1,1,...,ϕ1,TA},{ϕ2,1,...,ϕ2,TA}},(3)uk,i=σ(WAgg1Tϕk,i+bAgg1),k∈{1,2},i∈{1,T}(4)αk,i=Softmax(WAgg2Iuk,i+bAgg2),αk,i∈[0,1](5)CA=i=1∑Tαk,iϕk,i(6)
| 符号 | 含义 |
|---|---|
| Φ ∈ A 2 × T A × d A \Phi\in\mathbf{A}^{2\times T_{A}\times d_{A}} Φ∈A2×TA×dA | Bi-GRU的输出序列 |
| σ \sigma σ | 激活函数 |
| C A ∈ R 2 × d a \mathcal{C}_\mathbf{A}\in\mathbb{R}^{2\times d_a} CA∈R2×da | 两个可用于 RoBERTa 的语音前缀token |
4.训练过程
4.1预训练阶段
输入序列 { [ C L S ] , l 1 , l 2 , ... , l T L , [ S E P ] } \{[CLS],l_{1},l_{2},\ldots,l_{T_{\mathbf{L}}},[SEP]\} {[CLS],l1,l2,...,lTL,[SEP]}给预先训练好的 RoBERTa 模型，然后只计算语音输出token (也就是 C A C_A CA)的损失函数，梯度只影响 LAA 模块。
使用 LIBRISPEECH 数据集对 LAA 模块进行了 8000 步训练（通过实验观察，进行8000步，模型收敛，F1分数趋于稳定，故训练8000步）。每 2,000 步保存一次模型，并对保存的参数进行微调，以便在 CMU-MOSI 数据集上进行高效的多模态情感分析。
4.2微调阶段
将语音前缀和文本token输入到 RoBERTa 模型，根据[CLS]对应的输出，对 RoBERTa 模型进行微调。
4.3TEASEL模型训练的算法伪代码
结果与讨论
⚠ 斜体是消融实验
- 通过与一些仅限于文本的流行Transformer方法 、基于Transformer的冻结特征方法 、为下游任务微调Transformer的方法进行对比，TEASEL在Corr、ACC-2与F1分数上的表现是最佳的。
- 在相同的条件下，对预训练TEASEL的不同步数下的参数进行微调，表明了预训练 LAA 模块是有效的，也证明了训练8000步是刚刚好的。
- 通过对微调部分应该固定 LAA 模块的哪些部分进行了详尽的实验，证明了不需要对整个 LAA 模块进行微调。
- 对测试集中的某个随机数据的注意力激活层进行可视化，证明了语音前缀的有效性。
代码和数据集
此代码是别人复现的，论文作者并没有提供。
代码：https://github.com/tjdevWorks/TEASEL
数据集：CMU-MOSI
实验环境：GitHub上面，有人复现这个代码，使用Tesla V100都显示CUDA内存不足。
附录
MaskedLM 任务：旨在使用句子中未屏蔽的全部词语来预测随机屏蔽的标记。标准的 MaskedLM 80% 的时间使用 [MASK] token，10% 的时间使用random token，10% 的时间使用unchanged token，迫使语言模型顺利地预测输出标记。
wav2vec模型：wav2vec模型利用五层卷积神经网络（CNN）作为时间特征编码器，并利用BERT-style Transformer作为上下文编码器。
BiGRU单元：BiGRU单元指的是双向门控循环单元（Bidirectional Gated Recurrent Unit）。它是一种特殊的循环神经网络（RNN）结构，用于处理序列数据。BiGRU通过结合两个GRU层来工作，一个处理正向时间序列（从开始到结束），另一个处理反向时间序列（从结束到开始）。这种结构允许网络同时学习过去和未来的上下文信息，提高了对序列数据的理解能力。GRU单元结构：
😃😃😃