今天细致聊一下Bert架构.前面也提到过自然语言处理(NLP)的概念就是让计算机能够理解和生成人类语言的过程.于是基于理解的方向就是Bert架构,基于生成的方向就是GPT方向.Bert架构的核心部分分为三个部分.分别是Embbedding模块,Transformer模块,预微调模块.Embbeding模块是三种Embedding共同构成.Token Embeddings:词嵌入张量,第一个位置是"cls".Segment Embedding:句子分段嵌入张量:同样,第一个位置是"cls"表示句子的开始,后面跟着的是一系列数字,这些数字来自于bert模型专有的词表的索引序列.过程就是根据你输入的句子,根据句子里面的词去匹配词表里面的索引序列,最后是一个结束的标志,代表一段句子的结束.Position Embedding:位置编码张量:这里不同于传统transformer位置编码,这里采用的是相对位置编码.可以缓解位置信息丢失问题,保持语境的顺序敏感性.Transformer模块:这里是transforem模块的编码器部分,根据base模式,12层,large模式24层.预微调模块:用来完成指定任务的输出.在经过上一层的输出.预微调模块.的几种微调任务:输入两个句子,判断两个句子关系(分类关系).输入一个句子进行分类.判断情感分类.输入一个问答对,在问题里面去找答案.阅读理解.输入一个句子进行token级别分类.
相关推荐
JackLam2 分钟前
AI-安装ChatGpt Codex强哥聊算力11 分钟前
《算力江湖·英伟达传奇》第七集：ChatGPT出现前夜，英伟达发生了什么？吴佳浩1 小时前
Run:ai 开源了，我把 GPU 编排摆回 AI 栈里看了一遍IT_Octopus3 小时前
【零基础入门 LLM 开发 · Day 13】：LangChain 的对话记忆——Message 对象版2603_965148113 小时前
社区与学习资源：从入门到精通的API选品学习路径LiuPig刘皮哥3 小时前
2026年开源3D陪玩对比：xiaoke.ai、AIRI、Open-LLM-VTuber、Amica 有什么、没有什么西柚小萌新3 小时前
【岗位面试】--成都博维数孪 - 工业 AI 解决方案顾问Luminbox紫创测控3 小时前
车载LiDAR强光测试的实验设计方法与数据分析建筑工程企业管理系统4 小时前
工程进度统计管理系统自动化汇总数据，解决施工企业手工对账误差难题唠点键盘之外的4 小时前
27 存量系统接大模型：旁挂一个 AI 微服务，老架构一行不改