多模态模型文本预处理方式

句子级别

句子级别的表征编码一整个句子到一个特征中。如果一个句子有多个短语，提取这些短语丢弃其他的单词。

缺点：这种方式会丢失句子中细粒度的信息。

单词级别

将句子中的类别提取出来，结合成一个句子。

缺点：会在类别之间建立不必要的联系，尤其多个类别以随机顺序排列。

子句级别

将句子中的类别提取出来，结合成一个句子，并使用注意力掩码遮蔽掉不相关类别的注意力。保持每个单词特征的细粒度意思。