python transformers库笔记(BertForTokenClassification类)

BertForTokenClassification类

BertForTokenclassification类是Hugging Face transformers库中专门为基于BERT的序列标注任务(如命名实体识别NER、词性标注POS)设计的模型类。它在BERT的基础上添加了一个线性分类层,用于对每个token进行分类。

1、特点

任务类型:专为Token-level分类设计,即对输入序列中的每一个token预测一个标签。典型应用有命名实体识别(NER)、词性标注(POS)、语义角色标注(SRL)

2、模型架构

复制代码
BERT Base Model (bert-base-uncased等)
      ↓
[CLS] Token 1 Token 2 ... Token N [SEP]  (输出隐藏状态)
      ↓
Dropout Layer (可选)
      ↓
Linear Classifier (hidden_size → num_labels)
      ↓
Softmax (输出每个 token 的标签概率)

3、关键组件

BERT编辑器:提取上下文相关的token表示(支持所有BERT变体)

分类头:将每个token的隐藏状态映射到标签空间(hidden_size→num_labels)

CRF层(可选):可通过扩展添加条件随机场层,提升标签间依赖建模(需自定义实现)

4、使用方法

(1)加载预训练模型

python 复制代码
import torch
from transformers import BertForTokenClassification, BertTokenizerFast


model = BertForTokenClassification.from_pretrained(
    'chinese-bert-wwm',
    num_labels=10,  # 标签数量
    id2label={0: 'O', 1: 'B-质量差', 2: 'I-质量差', ......}  # 标签映射
)
tokenizer = BertTokenizerFast.from_pretrained('chinese-bert-wwm')

(2)数据预处理

python 复制代码
text = '容易碎裂。质量太差,不值这个价。'
input = tokenizer(
    text,
    return_tensor='pt',
    trucation=True,
    padding=True,
    return_offsets_mapping=True
)
# 假设0=O,1=B-质量差,2=I-质量差,3=B-易碎裂,4=I-易碎裂
labels = [3, 4, 4, 4, 4, 1, 2, 2, 2, 0, 0, 0, 0, 0, 0, 0]
inputs["labels"] = torch.tensor([labels])

(3)模型推理

python 复制代码
outputs = model(**inputs)
logits = outputs.logits  # 形状:(batch_size, seq_len, num_labels)

# 获取预测标签
predictions = torch.argmax(logits, dim=-1)[0].tolist()
tokens = tokenizer.convert_ids_to_tokens(inputs['input_ids'][0])

# 打印结果
for token, pred in zip(tokens, predictions):
    print(f"{token:15}→{model.config.id2label.get(pred, 'UNK')}")

输出示例

python 复制代码
[CLS]          →O
容              →B-易碎裂
易              →I-易碎裂
碎              →I-易碎裂
裂              →I-易碎裂
。              →O
质              →B-质量差
量              →I-质量差
太              →I-质量差
差              →I-质量差
,              →O
不              →O
值              →O
这              →O
个              →O
价              →O
。              →O
[SEP]          →O
相关推荐
FreakStudio1 小时前
一文速通 Python 并行计算:13 Python 异步编程-基本概念与事件循环和回调机制
python·pycharm·协程·多进程·并行计算·异步编程
豌豆花下猫3 小时前
让 Python 代码飙升330倍:从入门到精通的四种性能优化实践
后端·python·ai
weixin_418813875 小时前
Python-可视化学习笔记
笔记·python·学习
Danceful_YJ5 小时前
4.权重衰减(weight decay)
python·深度学习·机器学习
Zonda要好好学习6 小时前
Python入门Day5
python
电商数据girl7 小时前
有哪些常用的自动化工具可以帮助处理电商API接口返回的异常数据?【知识分享】
大数据·分布式·爬虫·python·系统架构
CoooLuckly7 小时前
numpy数据分析知识总结
python·numpy
超龄超能程序猿7 小时前
(六)PS识别:源数据分析- 挖掘图像的 “元语言”技术实现
python·组合模式
amazinging8 小时前
北京-4年功能测试2年空窗-报培训班学测开-第四十四天
python·学习·appium