BERT 是"Bidirectional Encoder Representations from Transformers"的缩写。由谷歌 AI 团队在 2018 年 10 月提出，是对Transform的谷歌的最初的尝试，在 11 项自然语言处理测试中创下最佳成绩，机器阅读理解测试上首次超越人类水平。
-
双向理解：传统模型只能从左到右或从右到左读文字，BERT 能同时看词语左右两边的内容，就像人读书时能联系前后文理解意思。百科**
-
两个训练任务：
- 猜被遮住的词：随机遮住 15% 的文字，让模型根据上下文猜原词是什么。
- 判断句子关系：给两个句子，让模型判断第二句是不是第一句的下一句。
-
模型大小：基础版有 1.1 亿参数，大版有 3.4 亿参数，层数分别是 12 层和 24 层。