BERT相关知识

1.分词方法 BPE 和 WordPiece 的区别?

BPE 与 Wordpiece 都是首先初始化一个小词表,再根据一定准则将不同的子词合并。词表由小变大。BPE 与 Wordpiece 的最大区别在于,如何选择两个子词进行合并:BPE 选择频数最高的相邻子词合并,而 WordPiece 选择能够提升语言模型概率最大的相邻子词加入词表。

2. BERT 是怎么分词的?

BERT 主要是基于 Wordpiece 进行分词的,其思想是选择能够提升语言模型概率最大的相邻子词加入词表。

BERT 源码中 tokenization.py 就是预处理进行分词的程序,主要有两个分词器: BasicTokenizer 和 WordpieceTokenizer,另外一个 FullTokenizer 是这两个的结合:先进行 BasicTokenizer 得到一个分得比较粗的 token 列表,然后再对每个 token 进行一次 WordpieceTokenizer,得到最终的分词结果。

其中 BasicTokenizer 完成: 转 unicode )-> 去除空字符、替换字符、控制字符和空白字符等奇怪字符- > 中文分词 -> 空格分词 -> 小写、去掉变音符号、标点分词;WordpieceTokenizer 大致分词思路是按照从左到右的顺序,将一个词拆分成多个子词,每个子词尽可能长。按照源码中的说法,该方法称之为greedy longest-match-first algorithm,贪婪最长优先匹配算法。

对于中文来说,一句话概括:BERT 采取的是「分字」,即每一个汉字都切开。

3.介绍一下 Bert 以及三个下游任务

Bert 模型是一种自编码语言模型,其主要结构是 transformer 的 encoder 层,其主要包含两个训练阶段,预训练与 fine-tuning,其中预训练阶段的任务是 Masked Language Model(完形填空) 和Next Sentence Prediction。

下游任务:句子对分类任务,单句子分类任务,问答任务,单句子标注任务。

4.除了 Bert,其他预训练模型的拓展

RoBERTa 模型在 Bert 模型基础上的调整:

  • 训练时间更长,Batch_size 更大,(Bert 256,RoBERTa 8K)

  • 训练数据更多(Bert 16G,RoBERTa 160G)

  • 移除了 NPL(next predict loss)

  • 动态调整 Masking 机制

  • Token Encoding:使用基于 bytes-level 的 BPE

5 BERT 和 Roberta 的区别

RoBERTa 模型在 Bert 模型基础上的调整:

 训练时间更长,Batch_size 更大,(Bert 256,RoBERTa 8K)

 训练数据更多(Bert 16G,RoBERTa 160G)

 移除了 NPL(next predict loss)

 动态调整 Masking 机制

 Token Encoding:使用基于 bytes-level 的 BPE

相关推荐
叶子爱分享6 分钟前
计算机视觉与图像处理的关系
图像处理·人工智能·计算机视觉
鱼摆摆拜拜7 分钟前
第 3 章:神经网络如何学习
人工智能·神经网络·学习
一只鹿鹿鹿10 分钟前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程
张较瘦_22 分钟前
[论文阅读] 人工智能 | 深度学习系统崩溃恢复新方案:DaiFu框架的原位修复技术
论文阅读·人工智能·深度学习
cver12324 分钟前
野生动物检测数据集介绍-5,138张图片 野生动物保护监测 智能狩猎相机系统 生态研究与调查
人工智能·pytorch·深度学习·目标检测·计算机视觉·目标跟踪
学技术的大胜嗷31 分钟前
离线迁移 Conda 环境到 Windows 服务器:用 conda-pack 摆脱硬路径限制
人工智能·深度学习·yolo·目标检测·机器学习
还有糕手35 分钟前
西南交通大学【机器学习实验10】
人工智能·机器学习
江瀚视野40 分钟前
百度文心大模型4.5系列正式开源,开源会给百度带来什么?
人工智能
Jess071 小时前
插入排序的简单介绍
数据结构·算法·排序算法
老一岁1 小时前
选择排序算法详解
数据结构·算法·排序算法