LangChain+LLM实战---BERT和注意力机制中的QKV

BERT主要的创新之处

BERT(Bidirectional Encoder Representations from Transformers)是一种基于Transformer架构的预训练语言模型,由Google在2018年提出。它的创新之处主要包括以下几个方面:

  • 双向性(Bidirectional):BERT是第一个采用双向Transformer架构进行预训练的模型。传统的语言模型如GPT(Generative Pre-trained Transformer)只能根据上下文左边的词预测当前词,而BERT引入了Masked Language Model(MLM)任务,将一部分输入文本中的词进行遮盖,然后通过双向Transformer来预测这些被遮盖的词,从而使模型能够同时获得左侧和右侧的上下文信息。
  • 预训练与微调(Pretraining and Fine-tuning):BERT采用两阶段的训练方法。首先,在大规模的未标记数据上进行预训练,通过预测被遮盖的词和句子级别的任务来学习通用的语言表示。然后,在特定任务上进行微调,使用标记的数据集来进一步调整模型参数,使其适应具体的下游任务,如文本分类、命名实体识别等。
  • 预训练任务的多样性(Diverse Pretraining Tasks):为了提高模型的泛化能力,BERT使用了多个预训练任务。除了MLM任务外,BERT还引入了句子级别的任务,即Next Sentence Prediction(NSP)。NSP任务要求模型判断两个句子是否是连续的,并学习句子级别的语义关系。这样的多样性任务设计使得BERT能够学习到更丰富的语言表示。
  • Masked Language Model(MLM):BERT中的MLM任务是通过将输入文本中的一部分词进行随机遮盖来训练模型。这样做的好处是模型需要通过上下文信息来预测被遮盖的词,从而更好地理解词之间的关联性和语义。MLM任务的引入使得BERT能够学习到更深层次的语言表示。
  • 多层表示与多任务学习(Multi-layer Representation and Multi-task Learning):BERT采用了多层Transformer编码器来编码输入序列的信息。这些编码器层之间可以进行信息的传递和交互,从而丰富了表示的表达能力。同时,BERT还可以通过微调阶段的多任务学习来提高模型的泛化性能,将不同的下游任务作为辅助任务来共同训练模型,使得模型能够学习到更通用的语言表示。

注意力机制中的QKV

在注意力机制(Attention Mechanism)中,Q、K和V代表查询(Query)、键(Key)和值(Value)。

  • 查询(Query)(表示为Q):查询是用于指定要关注的特定位置或特征的向量。在注意力机制中,查询向量用于计算与其他位置或特征的相似度,并决定在注意力权重计算中的重要程度。
  • 键(Key)(表示为K):键向量用于提供与查询向量的相似度比较。它可以看作是提供参考信息的向量。
  • 值(Value)(表示为V):值向量是根据注意力权重进行加权求和的向量。它包含了要传递给下一步的信息。

在注意力机制中,通过计算查询向量(Q)与键向量(K)之间的相似度,然后使用归一化的相似度得到注意力权重。最后,使用注意力权重对值向量(V)进行加权求和,得到最终的上下文表示或注意力输出。

注意力机制的计算可以用以下公式表示:

Attention(Q, K, V) = softmax(QK^T / sqrt(d_k))V

其中,d_k是查询和键的维度。softmax函数用于归一化相似度,使得注意力权重的总和为1。除以sqrt(d_k)是为了缩放相似度,以确保在计算过程中避免梯度爆炸或梯度消失的问题

相关推荐
Yo_Becky19 分钟前
【PyTorch】PyTorch预训练模型缓存位置迁移,也可拓展应用于其他文件的迁移
人工智能·pytorch·经验分享·笔记·python·程序人生·其他
DeepSeek-大模型系统教程21 分钟前
深入金融与多模态场景实战:金融文档分块技术与案例汇总
人工智能·ai·语言模型·程序员·大模型·大模型学习·大模型教程
xinxiangwangzhi_26 分钟前
pytorch底层原理学习--PyTorch 架构梳理
人工智能·pytorch·架构
yzx99101331 分钟前
关于网络协议
网络·人工智能·python·网络协议
AiTEN_Robot32 分钟前
AGV 无人叉车关键技术问题解析:精准定位算法 / 安全避障逻辑 / 系统对接协议全方案
人工智能·机器人·自动化·制造
云天徽上33 分钟前
【PaddleOCR】OCR常见关键信息抽取数据集,包含FUNSD、XFUND、WildReceipt等整理,持续更新中......
人工智能·计算机视觉·信息可视化·paddlepaddle·paddleocr·文本识别
zskj_zhyl33 分钟前
智绅科技:以科技为翼,构建养老安全守护网
人工智能·科技·安全
刘海东刘海东35 分钟前
结构型智能科技的关键可行性——信息型智能向结构型智能的转换(提纲)
人工智能
Jay Kay1 小时前
TensorFlow源码深度阅读指南
人工智能·python·tensorflow
FF-Studio1 小时前
【硬核数学 · LLM篇】3.1 Transformer之心:自注意力机制的线性代数解构《从零构建机器学习、深度学习到LLM的数学认知》
人工智能·pytorch·深度学习·线性代数·机器学习·数学建模·transformer