Bert解读

1.为什么Bert会存在?

首先,在Bert模型之前存在的BiLSTM来进行上下文的理解。

  • BiLSTM (Bidirectional Long Short-Term Memory)是LSTM的扩展版本,通过同时处理序列的正向和反向信息来增强模型的上下文理解能力。
  • 它由两个独立的LSTM层组成:一个正向LSTM层和一个反向LSTM层,这两个层并行处理同一序列但方向相反。

正向LSTM主要获取的是过去的数据信息,反向LSTM主要获取的是未来的数据信息,最终将正向和反向获取的数据信息,进行加权合并等方式,是最终的向量既包含过去信息又包含未来信息。

但是BiLSTM存在缺陷:

  • 串行计算瓶颈 :BiLSTM必须按顺序处理序列,正向LSTM需等待前一词处理完才能处理下一词,反向LSTM同理,导致无法并行计算。
  • 训练速度慢:处理10万条新闻文本,BiLSTM需要10小时,而Transformer(用GPU并行)仅需2小时。
  • 资源消耗大:在大数据集上训练BiLSTM需要大量计算资源,且收敛速度慢。

而且BiLSTM在上下文理解的局限性:

  • 固定权重分配:BiLSTM对上下文的"权重分配"是固定的,每个词的隐藏状态对后续词的影响是均匀的,无法动态关注重要信息。
  • 长距离依赖捕捉不足:当序列过长时,反向传播过程中梯度易衰减,导致模型难以有效学习远距离依赖关系。

从而在之后引入了Bert。

2.Bert训练逻辑:

Bert创建的目的和训练策略:

  • Bert目标是生成动态的、与上下文相关的词向量;
  • Bert的训练策略是分为两部分**:**工作范式可以分为预训练(Pre-training)和微调(Fine-tuning)两个主要阶段;
  • Bert预训练的两个任务:MLM和NSP
相关推荐
VIP_CQCRE4 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷5 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我5 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁015 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn6 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄6 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下7 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码7 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下8 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩8 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek