今天细致聊一下Bert架构.前面也提到过自然语言处理(NLP)的概念就是让计算机能够理解和生成人类语言的过程.于是基于理解的方向就是Bert架构,基于生成的方向就是GPT方向.Bert架构的核心部分分为三个部分.分别是Embbedding模块,Transformer模块,预微调模块.Embbeding模块是三种Embedding共同构成.Token Embeddings:词嵌入张量,第一个位置是"cls".Segment Embedding:句子分段嵌入张量:同样,第一个位置是"cls"表示句子的开始,后面跟着的是一系列数字,这些数字来自于bert模型专有的词表的索引序列.过程就是根据你输入的句子,根据句子里面的词去匹配词表里面的索引序列,最后是一个结束的标志,代表一段句子的结束.Position Embedding:位置编码张量:这里不同于传统transformer位置编码,这里采用的是相对位置编码.可以缓解位置信息丢失问题,保持语境的顺序敏感性.Transformer模块:这里是transforem模块的编码器部分,根据base模式,12层,large模式24层.预微调模块:用来完成指定任务的输出.在经过上一层的输出.预微调模块.的几种微调任务:输入两个句子,判断两个句子关系(分类关系).输入一个句子进行分类.判断情感分类.输入一个问答对,在问题里面去找答案.阅读理解.输入一个句子进行token级别分类.
相关推荐
janeboe5 分钟前
抖音黑科技兵马俑总站源头简博科技 | 抖音锚点不合规挂载新规今日生效，短视频引流直播间迈入三端全链路监管时代lialaka7 分钟前
「未来星途（Future_Odyssey）」——全语音_3D_AI_具身交互智能数字教官与全双工星际科普沉浸舱[1]hongmai6668888 分钟前
ESP32-C61-WROOM-1-N8R2：Wi-Fi 6与RISC-V融合的中坚力量正在走向自律12 分钟前
用豆包Seed Evolving打造全功能【AI智能记账】小程序，开源可落地小保CPP20 分钟前
OpenCV C++提取webp动图里的图片B8017913Y20 分钟前
手动整理录音太慢错漏多？2026专业AI录音可高效整理内容梦想的颜色23 分钟前
AI Agent 可观测性：破解多步推理黑盒｜从概念、架构、指标到生产落地图鉴IT智慧客073126 分钟前
Harness 到底指什么大模型任我行33 分钟前
阿里：端到端文档解析模型OvisOCR2aixingkong92135 分钟前
Atlas 950 1024卡SuperPoD推测分析