Bert的Transformer原理

多义词如何应对:

答:通过Self attention,不同的上下文,对同一个"苹果",得到截然不同的embedding激活值;

Multi-head的作用:

有些类似CNN里用的多个卷积核得到多个Channel的特征图;

从不同的角度去看,每个head侧重不同的特征维度,注意力放在和当前词在某些视角上相似的上下文词。

Attention是矩阵运算:

:对Q或K的特征维度,进行开平方。因为分子是多个乘积加和到一起,方差变大了,除以这个d是为了将方差复原。

模型定义:

d_model是Input和Output的维度;

(如果用了Group-MHA,则k和v的矩阵列数会减少N倍,减少了参数量、计算量、kv-cache量)

Attention:

query的维度顺序:(batch, head, seq_len, feature-dimention)

key经过转置之后:(batch, head, feature-dimention, seq_len)

PyTorch的@矩阵乘法,是对最里面2个维度构成的矩阵,进行的矩阵乘法。

query和key乘完之后:(batch, head, seq_len, seq_len)

前向计算:

注意:入参q,k,v,在Self-attention计算时,都是本句子tokens的上游激活;在Cross-attention计算时,只有q是本句子tokens的上游激活,k和v都是encoder句子tokens的对应层的;

乘完各自的变换矩阵W之后,query、key、value的维度都是:

(batch, seq_len, all-feature-dimention)

经过多头注意力划分,得到:

(batch, seq_len, head, per-head-feature-dimention)

对中间2个维度进行转置,得到:

(batch, head, seq_len, per-head-feature-dimention)

经过Attention计算完成之后,又将中间两个维度转置回来,相当于将所有head的矩阵concat到一起了;

LayerNormalization:

注意,是对每个token,其所有特征维度,进行标准化。

是可学习的,维度是hidden-size的维度;

残差层:

好处:在层数多的网络里,有一条直达捷径,可以让梯度直接传到到前面;解决了梯度消失问题;

全连接FFN层:

2个矩阵乘法,中间的激活的维度d_ff,可以不等于输入和输出的维度d_model;

2个矩阵乘法之间,有ReLU和Dropout

Position Embedding:

i是第几维度的特征;t是token所在句子中的位置;

i小的时候,w接近1,值随t的变化大;

i大的时候,w接近0,值随t的变化小;

特性1:句子再长,也能拿到位置编码向量;

特性2:两个token之间,保持一定的距离,无论他俩在句子中的什么位置,2个token的位置编码的点乘,都是不变的:

代码:

Decoder的Masked Self-attention:

Decoder侧,每个token只能把句子左侧和自己的token,参与计算;

代码:

softmax之前,将mask的维度,赋予极小负数,e的x次方接近0,softmax之后,该维度的值就接近0;

Decoder的Cross-Attention:

代码:

Self-Attention, Q、K、V的输入,都是decoder侧的tokens的上游激活值;

Cross-Attention,Q的输入是decoder侧的,K、V的输入是encoder侧的tokens的对应层的激活值;

(注意:以上激活值,再attention内部,还要乘以各自的W矩阵,才得到Q、K、V)

视频课程:

大模型修炼之道(一): Transformer Attention is all you need_哔哩哔哩_bilibili

相关推荐
遇码33 分钟前
大语言模型开发框架——LangChain
人工智能·语言模型·langchain·llm·大模型开发·智能体
碳基学AI2 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义免费下载方法
大数据·人工智能·python·gpt·算法·语言模型·集成学习
weixin_4352081615 小时前
论文浅尝 | Interactive-KBQA:基于大语言模型的多轮交互KBQA(ACL2024)
人工智能·语言模型·自然语言处理
人工智能培训咨询叶梓17 小时前
LLAMAFACTORY:一键优化大型语言模型微调的利器
人工智能·语言模型·自然语言处理·性能优化·调优·大模型微调·llama factory
sauTCc1 天前
N元语言模型的时间和空间复杂度计算
人工智能·语言模型·自然语言处理
扫地的小何尚1 天前
NVIDIA工业设施数字孪生中的机器人模拟
android·java·c++·链表·语言模型·机器人·gpu
硅谷秋水1 天前
MoLe-VLA:通过混合层实现的动态跳层视觉-语言-动作模型实现高效机器人操作
人工智能·深度学习·机器学习·计算机视觉·语言模型·机器人
开始学AI1 天前
【Windows+Cursor】从0到1配置Arxiv MCP Server,实现论文自主查询、下载、分析、综述生成
语言模型·大模型·ai agent·mcp
Moutai码农1 天前
大模型-提示词(Prompt)技巧
人工智能·语言模型·prompt
Moutai码农1 天前
大模型-提示词(Prompt)最佳实践
人工智能·语言模型·prompt