BERT模型入门(1)BERT的基本概念

文章目录


BERT是B idirectional E ncoder R epresentations from Transformers的首字母简写,中文意思是:Transformer的双向编码器表示。它是谷歌发布的最先进的嵌入模型。BERT在许多NLP任务中提供了更好的结果,如问答、文本生成、句子分类等,从而在NLP领域取得了重大突破。BERT成功的一个主要原因在于它是一个基于上下文的嵌入模型,而其他流行的嵌入模型,如word2vec,则是上下文无关的。

首先,让我们了解基于上下文和上下文无关嵌入模型之间的区别。考虑以下两个句子:

句子A:He got bit by Python.

句子B:Python is a popular programming language.

通过阅读上述两个句子,我们可以理解到"Python"这个词在两个句子中的意思不同。在句子A中,"Python"指的是蛇,而在句子B中,"Python"指的是编程语言。

现在,如果我们使用word2vec这样的嵌入模型为上述两个句子中的"Python"这个词获取嵌入,那么"Python"的嵌入在两个句子中将是相同的,这使得"Python"在两个句子中的意思相同。这是因为word2vec是一个上下文无关模型,它会忽略上下文,总是为"Python"提供相同的嵌入,无论上下文如何。

与之不同,BERT是一个基于上下文的模型。它会理解上下文,然后基于上下文生成单词的嵌入。因此,对于上述两个句子,它会根据上下文为"Python"提供不同的嵌入。但这是如何工作的?BERT是如何理解上下文的?让我们更深入地探讨这个问题。

让我们以句子A为例:He got bit by Python.。首先,BERT将句子中的每个单词与句子中的所有其他单词关联起来,以理解每个单词的上下文意义。因此,为了理解"Python"这个词的上下文意义,BERT将"Python"这个词与句子中的所有单词关联起来。通过这样做,BERT可以理解句子A中的"Python"通过"咬"这个词指的是蛇,如下所示:

图2.1 -- 将"Python"这个词与所有其他单词关联

现在,让我们看看句子B:Python is a popular programming language.

同样地,BERT将句子中的每个单词与句子中的所有单词关联起来,以理解每个单词的上下文意义。因此,BERT将"Python"这个词与句子中的所有单词关联起来,以理解"Python"这个词的意思。通过这样做,BERT理解句子B中的"Python"与编程语言有关,通过使用"编程"这个词,如下所示:

图2.2 -- 将"Python"这个词与所有其他单词关联

因此,与word2vec这样的上下文无关模型不同,后者无论上下文如何都生成静态嵌入,BERT基于上下文生成动态嵌入。

好了,问题是BERT究竟是如何工作的?它是如何理解上下文的?现在我们有了BERT的基本概念,接下来我们将更详细地探讨BERT,并找到这些问题的答案。


感谢您的阅读,欢迎关注!


相关推荐
墨尘游子2 分钟前
基于 LSTM 与 SVM 融合的时间序列预测模型:理论框架与协同机制—实践算法(1)
人工智能·支持向量机·lstm
深度学习机器10 分钟前
Gemini CLI源码解析:Agent与上下文管理实现细节
人工智能·llm·agent
谢嘉伟15 分钟前
SuperClaude Framework 使用指南
人工智能
柴 基17 分钟前
PyTorch 使用指南
人工智能·pytorch·python
神经星星25 分钟前
估值准确率超99%!基于YOLOv11的陶瓷分类智能框架融合视觉建模与经济分析,实现文物分类及价值估测
人工智能·机器学习·开源
阿里云大数据AI技术42 分钟前
[VLDB 2025]面向云计算平台的多模态慢查询根因排序
大数据·数据库·人工智能
007tg1 小时前
007TG洞察:GPT-5前瞻与AI时代竞争力构建:技术挑战与落地路径
人工智能·gpt·机器学习
nassi_1 小时前
GPT Agent与Comet AI Aent浏览器对比横评
人工智能·gpt
不叫猫先生1 小时前
零基础部署网站?使用天翼云服务搭建语音听写应用系统
人工智能·语音识别·云服务器
Blossom.1181 小时前
基于深度学习的图像分类:使用ShuffleNet实现高效分类
人工智能·python·深度学习·目标检测·机器学习·分类·数据挖掘