Bert 将长段分成句子放在一个batch输入

bash 复制代码
from nltk.tokenize import RegexpTokenizer

sentence = """Thomas Jefferson began building Monticello at the age of 26."""
# 按照自己的规则进行分词,使用正则分词器
# \w 匹配字母、数字、下划线
# 匹配任何非空白字符
tokenizer = RegexpTokenizer(r'\w+|$[0-9.]+|\S+')
print(tokenizer.tokenize(sentence))

bert的任务 上下句和mask,mask掩码就是需要预测的部分,上下句预测现在基本不用了 mask基本都会加上,mask 可以控制掩住哪里

使用预训练模型时候要注意预训练的权重是在什么类型的数据集上训练的,方面情感分析 可以分为多少个方面类也比较重要

相关推荐
TMT星球3 分钟前
从IFA再出发:中国制造与海信三筒洗衣机的“答案”
人工智能·制造
edisao6 分钟前
[特殊字符] 从助手到引擎:基于 GPT 的战略协作系统演示
大数据·人工智能·gpt
三之又三42 分钟前
卷积神经网络CNN-part5-NiN
人工智能·神经网络·cnn
百锦再1 小时前
在 CentOS 系统上实现定时执行 Python 邮件发送任务
java·linux·开发语言·人工智能·python·centos·pygame
Amy187021118231 小时前
中线安防保护器,也叫终端电气综合治理保护设备为现代生活筑起安全防线
人工智能·安全·智慧城市
CV-杨帆1 小时前
论文阅读:ACL 2024 Stealthy Attack on Large Language Model based Recommendation
论文阅读·人工智能·语言模型
飞哥数智坊1 小时前
AI 编程太混乱?我的3个实践,防止代码失控
人工智能·ai编程
NMGWAP1 小时前
AI辅助编程:软件工程的终结还是进化新阶段?
人工智能·软件工程
云边云科技2 小时前
企业跨区域组网新解:SD-WAN技术打造安全稳定网络体系
运维·网络·人工智能·安全·边缘计算
pingao1413782 小时前
PG-210-HI 山洪预警系统呼叫端:筑牢山区应急预警 “安全防线”
大数据·人工智能·科技