AI搭建preparationの(transformers01)BertTokenizer实现分词编码

一、下载

bert-base-chinese镜像下载

二、简介作用:

|-----------|-------------------|----------------|-----------------|--------|------|
| 模型 | 每个参数占用的字节大小 | 模型大小 | 模型大小 | 层数 | 头数 |
| GPT-1 | 4 个字节的 FP32 精度浮点数 | 117M | 446MB | 12 | 12 |
| GPT-2 | 2 个字节的 FP16 | 1.5亿到1.75亿 | 0.5GB到1.5GB | 48 | 16 |
| GPT-3 | 2 个字节的 FP16 | 1.75万亿(17500亿) | 350GB | 175 | 96个头 |

BERT(Bidirectional Encoder Representations from Transformers)

针对中文语言,HuggingFace 团队推出了 bert-base-chinese 模型,提供语言处理能力。

Transformers提供两大类的模型架构,一类用于语言生成NLG任务,比如GPT、GPT-2、Transformer-XL、XLNet和XLM,

另一类主要用于**语言理解任务** ,如Bert、DistilBert、RoBERTa、XLM.

三、环境依赖

pip install transformers==4.20.0

transformers · PyPI

四、实践

1、 vocab.txt 是已经设定好的词表

2、分词编码

利用transformers库中的BertTokenizer实现分词编码

python 复制代码
from transformers import BertTokenizer#111
bert_name = './bert-base-chinese'
tokenizer = BertTokenizer.from_pretrained(bert_name)
text = '窗前明月光,'
input_ids = tokenizer.encode(
    text,#需要编码的文本;
add_special_tokens=True,#是否添加特殊token,即CLS分类token和SEP分隔token;
max_length=128,#文本的最大长度
truncation=True,#使用truncation=True来明确地将示例截断为最大长度。
padding='max_length',#将批次中所有序列填充到最长序列的长度
return_tensors='pt'# 返回的tensor类型,有4种为 ['pt', 'tf', 'np', 'jax'] 分别代表 pytorch tensor、tensorflow tensor、int32数组形式和 jax tensor;
)
print('text:\n', text)
print('text字符数:', len(text))
print('input_ids:\n', input_ids)
print('input_ids大小:', input_ids.size())

3、特殊标记

整个词表的大小为21128个字,共有5种特殊token标记:

PAD\]: 填充标记,编码为0; \[UNK\]: 未知字符标记,即该字不在所定义的词表中,编码为100; \[CLS\]: 分类标记,蕴含整个文本的含义,编码为101; \[SEP\]: 分隔字符标记,用于断开两句话,编码为102; \[MASK\]: 掩码标记,该字被遮挡,编码为103; *** ** * ** *** ### 4、补充: 某些transformers版本 或者会产生一些提醒,但是可以正常运行,我们可以加上以下语句来清除警告 > from transformers import logging > > logging.set_verbosity_error()

相关推荐
白-胖-子4 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手6 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
静心问道6 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.07 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12017 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师7 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen7 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域7 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木8 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能
凪卄12138 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm