AI搭建preparationの(transformers01)BertTokenizer实现分词编码

Ama_tor2025-03-27 10:40

一、下载

二、简介作用：

|-----------|-------------------|----------------|-----------------|--------|------|
| 模型 | 每个参数占用的字节大小 | 模型大小 | 模型大小 | 层数 | 头数 |
| GPT-1 | 4 个字节的 FP32 精度浮点数 | 117M | 446MB | 12 | 12 |
| GPT-2 | 2 个字节的 FP16 | 1.5亿到1.75亿 | 0.5GB到1.5GB | 48 | 16 |
| GPT-3 | 2 个字节的 FP16 | 1.75万亿（17500亿） | 350GB | 175 | 96个头 |

BERT（Bidirectional Encoder Representations from Transformers）

针对中文语言，HuggingFace 团队推出了 bert-base-chinese 模型，提供语言处理能力。

Transformers提供两大类的模型架构，一类用于语言生成NLG任务，比如GPT、GPT-2、Transformer-XL、XLNet和XLM，

另一类主要用于**语言理解任务** ，如Bert、DistilBert、RoBERTa、XLM.

三、环境依赖

pip install transformers==4.20.0

transformers · PyPI

四、实践

1、 vocab.txt 是已经设定好的词表

2、分词编码

利用transformers库中的BertTokenizer实现分词编码

python 复制代码

from transformers import BertTokenizer#111
bert_name = './bert-base-chinese'
tokenizer = BertTokenizer.from_pretrained(bert_name)
text = '窗前明月光，'
input_ids = tokenizer.encode(
    text,#需要编码的文本；
add_special_tokens=True,#是否添加特殊token，即CLS分类token和SEP分隔token；
max_length=128,#文本的最大长度
truncation=True,#使用truncation=True来明确地将示例截断为最大长度。
padding='max_length',#将批次中所有序列填充到最长序列的长度
return_tensors='pt'# 返回的tensor类型，有4种为 ['pt', 'tf', 'np', 'jax'] 分别代表 pytorch tensor、tensorflow tensor、int32数组形式和 jax tensor；
)
print('text:\n', text)
print('text字符数:', len(text))
print('input_ids:\n', input_ids)
print('input_ids大小:', input_ids.size())

3、特殊标记

整个词表的大小为21128个字，共有5种特殊token标记：

PAD\]: 填充标记，编码为0； \[UNK\]: 未知字符标记，即该字不在所定义的词表中，编码为100； \[CLS\]: 分类标记，蕴含整个文本的含义，编码为101； \[SEP\]: 分隔字符标记，用于断开两句话，编码为102； \[MASK\]: 掩码标记，该字被遮挡，编码为103； *** ** * ** *** ### 4、补充： 某些transformers版本 或者会产生一些提醒，但是可以正常运行，我们可以加上以下语句来清除警告 > from transformers import logging > > logging.set_verbosity_error()