Bert浅谈

优点

首先,bert的创新点在于利用了双向transformer,这就跟openai的gpt有区别,gpt是采用单向的transformer,而作者认为双向transformer更能够融合上下文的信息。这里双向和单向的区别在于,单向只跟当前位置之前的tocken相连,双向与当前位置之后的tocken也有连接。跟ELMo相比的优势在于,transformer对特征的提取能力比lstm要强得多。

模型输入

首先是对输入的句子做tocken embedding,也就是将句子映射为一维向量,可以是word2vec的结果,猜想一下,如果不是维度过高也可以是one-hot,第二部分segment embedding 是在模型训练过程中自动学习得到的,猜想这里可以用全连接,也可以用transformer,最后是position embedding,主要用以区别"我喜欢妈妈"和"妈妈喜欢我",虽然这两句话的单词一样,但是因为位置不同,所以含义不同。

模型参数

BERTBASE (L=12, H=768, A=12, Total Parameters=110M)

BERTLARGE (L=24, H=1024,

A=16, Total Parameters=340M).

L表示层数,H为隐层维度,A为注意力头的数量

两种任务

Masked LM

这个任务主要是随机将某句话的某几个位置做处理,这里的处理可能是3种,80%的概率用mask代替,10%的概率保留原来的单词,10%的概率用其他单词代替。就像是英语考试中的完形填空

Next Sentence Prediction (NSP)

主要利用输入的第一个tockencls和中间的tockensep,其中cls用来表示后面一句是否为前一句的下一句,sep表示两个句子的间隔。从文本语料库中随机选择 50% 正确语句对和 50% 错误语句对进行训练。就像是与语文中的句子排序。

参考:BERT模型的详细介绍

相关推荐
前端的阶梯5 小时前
AI Agent 之 工具(Tool)
人工智能
孟健5 小时前
用 HyperFrames 解决前端视频生成难题:国产 Flash 模型实测 3 条 1080p 视频
前端·人工智能·开源
两万五千个小时5 小时前
Agent 记忆不是聊天记录,而是为未来准备的上下文 ——Anthropic 的四层记忆架构与 Dream 思想
人工智能·程序员
汤姆宝库5 小时前
RoPE旋转位置编码的实现与长上下文外推
python·深度学习·机器学习
汤姆宝库6 小时前
语料清洗流水线的实现:启发式过滤、MinHash去重与质量分级
人工智能
火山引擎开发者社区6 小时前
不会 FFmpeg 也能做视频后期?AI MediaKit Skill 帮你实现
人工智能
tellmewhoisi6 小时前
深度学习0:数学知识:(L1正则化和L2正则化)
人工智能·深度学习
AI_Gump6 小时前
AutoGLM 两年演进深度解读:一篇讲透智谱的手机 Agent 路线
人工智能·智能手机
玄枢AI6 小时前
AI把待办整理成JSON后,用Python检查漏字段、类型错误和未知值
人工智能
VIP_CQCRE6 小时前
GPT Image 2.6 选型别只看首张:用盲评与合格图耗时比较 Flare、Sunburst
软件测试·图像处理·人工智能