初识Bert

在学习Bert之前我们先了解"递归神经网络(RNN Recurrent neural network)" 和 "长短期记忆(LSTM Long short-term memory)"

我们如果仅仅识别每个字的含义,那么在一句话中没有相同的字还是可以的但是如果一句话中有相同的字,那么我们进不能识别每个字的含义,因为有可能相同的字,位置不一样,词性也不一样,那么含义就会不一样。

因此就引出了 递归神经网络(RNN Recurrent neural network)和长短期记忆(LSTM Long short-term memory)

递归神经网络

RNN就是在传入模型的时候,也传入一个向量,就是一个记忆单元,我们可以形象的称为"传家宝",因为传家宝会一直串行的传下去这样就能。有了这个传家宝,就可以根据上文判断当前文字的词性。

因为是串行传递,如果一句话很长,这也导致RRN模型中记忆单元也就是"传家宝"中记录的东西过多,导致最前面的信息和最后面的信息很难对应,如:

当我们问"谁与赛罕塔拉结下了不解之缘?"时,"传家宝"里的东西已经记录前面的太多信息了,无法准确的找到主语"我"。

为了解决这个问题,因此引出"长短期记忆(LSTM Long short-term memory)"模型。

长短期记忆

LSTM模型就是,还是那上面的例子,问"谁与赛罕塔拉结下了不解之缘?"时,我们就会把"传家宝"上锁,不会让中间无关紧要的信息进入"传家宝",这样我们就能在"传家宝"当中找到我们想要的答案。

自注意力机制

通过学习RNN和LSTM模型,虽然问题已经解决,但是速度还是太慢了,先辈的巨人们就创造了Bart模型,在学习Bart模型前,我们要先了解自注意力机制(Self-attention)

所谓的注意力机制就是是一个特征转换器,考虑了句子整体的前后关系。注意力机制可以让模型在生成每个目标词的时候,选择性地"关注"源句子中相关联的部分,而不是等同对待整个源句子。

通俗一点,注意力机制就是对于每个事件所分担注意力的比例是多少。

那么𝛼1,1, 𝛼1,2, 𝛼1,3, 𝛼1,4这些都是怎么求的呢?

得到的𝛼1,1, 𝛼1,2, 𝛼1,3, 𝛼1,4其概率和不为1,因此在经过一次Soft-max,得到概率和为1,这样我们就得到了𝛼1分配给每个字多少的注意力

b1就是𝛼1看过整句话结合注意力得到的值 ,这样可以求得b2,b3,b4,在计算得过程中都是全部都是并行的,完全不需要等待前面得内容,因此速度很快。

下面是具体得计算过程,

我们把每个字,也就是表示成768维向量称之为token

Bert

Bert就是一个编码器,与他对应的就是GPT-2解码器,先逐步分析Bert的过程:

Inputs就是将一个字以one-hot的编码形式展示出来,传去Input Embeadding中,就是对应的"词Embeadding"进行的操作就是进行一次全连接Linear(22128,768);在进行一次Positional Encoding,就是对应的"位置 Embeadding",进行的操作是一次全连接Linear(512,768)。

经过两次全连接,进入的就是Muti-Head Attention(多头注意力机制),下面的三个箭头就是Wq、Wk、Wv,都是(768,768)的Linear,后面进行Norm,就是归一化,观察到还有一个箭头指向Add,这就是ResNet残差连接,因为有残差连接,网络才能走很深。传出还是768维。

传入Feed Forward,Feed Forward的操作就是进行两次全连接:nn.linear(768,3072)、nn.linear(3072,768),得到768维,在进行一次归一化和残差连接,这就算把特征提取出来了。

这就是Bert的一次完整的过程,当然,因为Bert整体的过程不改变维度,输入768维,输出768维,所以可以根据具体的情况进行N次。

这就是他们之间的关系

相关推荐
fzyz1231 小时前
Windows系统下WSL从C盘迁移方案
人工智能·windows·深度学习·wsl
FF-Studio3 小时前
【硬核数学 · LLM篇】3.1 Transformer之心:自注意力机制的线性代数解构《从零构建机器学习、深度学习到LLM的数学认知》
人工智能·pytorch·深度学习·线性代数·机器学习·数学建模·transformer
云渚钓月梦未杳3 小时前
深度学习03 人工神经网络ANN
人工智能·深度学习
贾全4 小时前
第十章:HIL-SERL 真实机器人训练实战
人工智能·深度学习·算法·机器学习·机器人
我是小哪吒2.04 小时前
书籍推荐-《对抗机器学习:攻击面、防御机制与人工智能中的学习理论》
人工智能·深度学习·学习·机器学习·ai·语言模型·大模型
慕婉03074 小时前
深度学习前置知识全面解析:从机器学习到深度学习的进阶之路
人工智能·深度学习·机器学习
埃菲尔铁塔_CV算法7 小时前
基于 TOF 图像高频信息恢复 RGB 图像的原理、应用与实现
人工智能·深度学习·数码相机·算法·目标检测·计算机视觉
24毕业生从零开始学ai7 小时前
长短期记忆网络(LSTM):让神经网络拥有 “持久记忆力” 的神奇魔法
rnn·神经网络·lstm
中杯可乐多加冰9 小时前
【AI落地应用实战】AIGC赋能职场PPT汇报:从效率工具到辅助优化
人工智能·深度学习·神经网络·aigc·powerpoint·ai赋能
烟锁池塘柳09 小时前
【大模型】解码策略:Greedy Search、Beam Search、Top-k/Top-p、Temperature Sampling等
人工智能·深度学习·机器学习