多模态基础---BERT

1. BERT简介

BERT用于将一个输入的句子转换为word_embedding,本质上是一个transformer的Encoder。

1.1 BERT的两种训练方法

  1. 预测被遮挡的单词
  2. 预测两个句子是否是相邻的句子
    1和2是同时训练的

1.1 BERT的四种用法

  1. 预测句子的类别:输入一个句子,输出一个类别
  2. 预测句子中每个单词的类别:输入一个句子,输出每个单词的类别
  3. 预测两个句子是否相邻:输入两个句子,输出判断是否相邻的类别
  4. 预测某个问题在文章中的答案:输入一个问题和一篇文章,输出问题在文章中答案的位置(索引)didj

case1: case2:
case3:

case4:


相关推荐
forest_093 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区4 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔4 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区4 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1234 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI4 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健5 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV5 小时前
Google 重返第一梯队
人工智能·google·aigc
十有八七6 小时前
手搓 Agent(五):学会翻书——RAG,先查资料再回答
前端·人工智能·后端