多模态基础---BERT

1. BERT简介

BERT用于将一个输入的句子转换为word_embedding，本质上是一个transformer的Encoder。

1.1 BERT的两种训练方法

1. 预测被遮挡的单词
2. 预测两个句子是否是相邻的句子
   1和2是同时训练的
   
   

1.1 BERT的四种用法

1. 预测句子的类别：输入一个句子，输出一个类别
2. 预测句子中每个单词的类别：输入一个句子，输出每个单词的类别
3. 预测两个句子是否相邻：输入两个句子，输出判断是否相邻的类别
4. 预测某个问题在文章中的答案：输入一个问题和一篇文章，输出问题在文章中答案的位置（索引）d_id_j

case1： case2：
case3：

case4：