今天细致聊一下Bert架构.前面也提到过自然语言处理(NLP)的概念就是让计算机能够理解和生成人类语言的过程.于是基于理解的方向就是Bert架构,基于生成的方向就是GPT方向.Bert架构的核心部分分为三个部分.分别是Embbedding模块,Transformer模块,预微调模块.Embbeding模块是三种Embedding共同构成.Token Embeddings:词嵌入张量,第一个位置是"cls".Segment Embedding:句子分段嵌入张量:同样,第一个位置是"cls"表示句子的开始,后面跟着的是一系列数字,这些数字来自于bert模型专有的词表的索引序列.过程就是根据你输入的句子,根据句子里面的词去匹配词表里面的索引序列,最后是一个结束的标志,代表一段句子的结束.Position Embedding:位置编码张量:这里不同于传统transformer位置编码,这里采用的是相对位置编码.可以缓解位置信息丢失问题,保持语境的顺序敏感性.Transformer模块:这里是transforem模块的编码器部分,根据base模式,12层,large模式24层.预微调模块:用来完成指定任务的输出.在经过上一层的输出.预微调模块.的几种微调任务:输入两个句子,判断两个句子关系(分类关系).输入一个句子进行分类.判断情感分类.输入一个问答对,在问题里面去找答案.阅读理解.输入一个句子进行token级别分类.
相关推荐
听风吹等浪起42 分钟前
第30章：MobileNetV3全家桶实现MRI脑肿瘤四分类（含Streamlit网页推理+Mermaid结构图）如若1231 小时前
TRACER 论文解读与复现：面向 ICU 长时程患者监测的多模态 Harness 架构、时序证据建模与工具增强推理深蓝AI3 小时前
无头浏览器不必从 Chrome 改：Lightpanda 用 Zig 从零造，100 个页面只占 123MB 内存奈落245 小时前
AI辅助的另一面：从2026年国际AI安全报告的“故障”清单到国内专家的可靠性短板，自主行动的Agent为什么更难及时干预火山引擎开发者社区7 小时前
eMudhra 证书失陷：容器用户最容易忽略的镜像信任链漏洞LabVIEW开发8 小时前
LabVIEW 机载 DIAL：每秒万次甲烷测量飞猫的边缘AI9 小时前
英特尔量子生意深蓝AI9 小时前
桌面 Agent 缺的不是视觉：Vercel 开源 agent-desktop，用无障碍树 ref 替代截图坐标镜子AI9 小时前
镜子AI 技术复盘：三条自动化链路上的“停止条件“设计向哆哆9 小时前
羊行为目标检测数据集：4类别、2,000张图像 | 目标检测