BERT论文阅读

一.前情提要

1.本文理论为主,并且仅为个人理解,能力一般,不喜勿喷

2.本文理论知识较为成体系

3.如有需要,以下是原文,更为完备

BERT 论文逐段精读【论文精读】_哔哩哔哩_bilibili

二.正文

1.前言:

①BERT是一种基于Transformer架构的预训练语言模型。

②NLP(即自然语言处理)是人工智能领域的一个重要分支,旨在使计算机能够理解、解释和生成自然语言文本。NLP涉及处理人类语言的各个层面,包括语义理解、语法分析、语言生成等。

2.与ELMO、GPT的区别(因为是在这两篇的基础上发展的)

细节(1)--->区别

①训练深得双向的表示(运用了右侧和左侧的信息),而GPT是单向的

②ELMO运用的RNN而BERT运用的是Transformer,故ELMO与用到下游的时候要调整结构而BERT就只用调整最上层--->与GPT是一样的。

细节(2)--->优势

①绝对精度提高7.7%

(ps:BERT本身并没有一个绝对的精度,因为它是一个预训练的模型,其性能取决于具体任务和数据集,但是一些标准的基准数据集上,BERT和其变种通常能够达到非常高的精度。例如,在GLUE上)

3.流程

①普遍流程:语言预训练可以提升自然语言任务:如:句子之间的关系(如:情绪),词源层面输出(如:实体命名)

②预训练策略:(1)基于特征(ELMO):将学到的特征和输入一起放进去

(2)基于微调(GPT):将权重放在下游,最后微调(并且从左到右读句子)

----------->均使用单项的语言模型

③作者新想法:读句子从左到右与从右到左并行

操作:

(1)用带掩码的语言模型(MLM):简而言之是进行句子挖空让机器来预测或着预测两个句子是不是相邻的

(2)好处:1.双向 2.微调 3.直接引用代码

(3)证明了在没有标号的大量数据集训练模型比有标号的小量数据集训练模型(前人常用比如:ImageNet)效果好

4.算法

①预训练:在没有标号的大量数据集训练

②微调:使用预训练中的权重用的是有标号的数据集

(预训练)

③调参:

(1)transformer的块的个数

(2)隐藏层的大小

(3)自注意力机制的头的个数

(自注意力机制用于序列数据处理的机制,最初引入于Transformer模型中。它允许模型在处理序列数据时,动态地给不同位置的输入赋予不同的注意力权重,从而更有效地捕捉序列中的长距离依赖关系。)

④处理句子

(1)切词:得子序列 (示例如下)

(2)两个句子合在一起仍然可以区分

(3)掩码是占15%----->80%概率真替换 10%概率随机词源 10%概率什么都不干(因为微调不会有掩码)

(示例如下)

(4)正例和负例 (示例如下

5.缺点

①用了Adam的残缺版--->有影响

②训练轮数小

相关推荐
大模型真好玩16 分钟前
做好真人分身却不知道拍什么?8个视频应用场景直接抄
人工智能·agent·deepseek
ZhengEnCi16 分钟前
黄仁勋想回英伟达却被拒:创始人 CEO 辞职后为什么回不来,董事会继任机制全拆解
人工智能·nvidia·团队管理
真上帝的左手26 分钟前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
墨林陌1 小时前
AI 热点日报(2026-11-18):OpenAI 发布 GPT-6.2,APEC 峰会聚焦 AI,AI 制药融资创新高
人工智能
byte轻骑兵1 小时前
【ATT】规范精讲[8]:配置要确认、灌包要速度、多字段要原子——BLE 写入的四重选择
人工智能·aiot·l2cap·嵌入式蓝牙·蓝牙链路管理
AAA修煤气灶刘哥1 小时前
Agent 都能干活了,软件还需要那么多按钮吗?
人工智能·后端·架构
Purple Coder2 小时前
开题报告学习
人工智能
狂师2 小时前
牛逼!谷歌亲自下场开源的AI自动化神器!
人工智能·开源·测试
金融小师妹3 小时前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融
ZhengEnCi3 小时前
中美AI竞赛之外其他国家在干什么:算力5%的欧洲、买卡的沙特与做场景的日韩
人工智能·gpu·nvidia