Bert 将长段分成句子放在一个batch输入

浪里摸鱼2024-04-12 19:20

bash 复制代码

from nltk.tokenize import RegexpTokenizer

sentence = """Thomas Jefferson began building Monticello at the age of 26."""
# 按照自己的规则进行分词,使用正则分词器
# \w 匹配字母、数字、下划线
# 匹配任何非空白字符
tokenizer = RegexpTokenizer(r'\w+|$[0-9.]+|\S+')
print(tokenizer.tokenize(sentence))

bert的任务上下句和mask，mask掩码就是需要预测的部分，上下句预测现在基本不用了 mask基本都会加上，mask 可以控制掩住哪里

使用预训练模型时候要注意预训练的权重是在什么类型的数据集上训练的，方面情感分析可以分为多少个方面类也比较重要