python transformers库笔记(BertForTokenClassification类)

BertForTokenClassification类

BertForTokenclassification类是Hugging Face transformers库中专门为基于BERT的序列标注任务(如命名实体识别NER、词性标注POS)设计的模型类。它在BERT的基础上添加了一个线性分类层,用于对每个token进行分类。

1、特点

任务类型:专为Token-level分类设计,即对输入序列中的每一个token预测一个标签。典型应用有命名实体识别(NER)、词性标注(POS)、语义角色标注(SRL)

2、模型架构

复制代码
BERT Base Model (bert-base-uncased等)
      ↓
[CLS] Token 1 Token 2 ... Token N [SEP]  (输出隐藏状态)
      ↓
Dropout Layer (可选)
      ↓
Linear Classifier (hidden_size → num_labels)
      ↓
Softmax (输出每个 token 的标签概率)

3、关键组件

BERT编辑器:提取上下文相关的token表示(支持所有BERT变体)

分类头:将每个token的隐藏状态映射到标签空间(hidden_size→num_labels)

CRF层(可选):可通过扩展添加条件随机场层,提升标签间依赖建模(需自定义实现)

4、使用方法

(1)加载预训练模型

python 复制代码
import torch
from transformers import BertForTokenClassification, BertTokenizerFast


model = BertForTokenClassification.from_pretrained(
    'chinese-bert-wwm',
    num_labels=10,  # 标签数量
    id2label={0: 'O', 1: 'B-质量差', 2: 'I-质量差', ......}  # 标签映射
)
tokenizer = BertTokenizerFast.from_pretrained('chinese-bert-wwm')

(2)数据预处理

python 复制代码
text = '容易碎裂。质量太差,不值这个价。'
input = tokenizer(
    text,
    return_tensor='pt',
    trucation=True,
    padding=True,
    return_offsets_mapping=True
)
# 假设0=O,1=B-质量差,2=I-质量差,3=B-易碎裂,4=I-易碎裂
labels = [3, 4, 4, 4, 4, 1, 2, 2, 2, 0, 0, 0, 0, 0, 0, 0]
inputs["labels"] = torch.tensor([labels])

(3)模型推理

python 复制代码
outputs = model(**inputs)
logits = outputs.logits  # 形状:(batch_size, seq_len, num_labels)

# 获取预测标签
predictions = torch.argmax(logits, dim=-1)[0].tolist()
tokens = tokenizer.convert_ids_to_tokens(inputs['input_ids'][0])

# 打印结果
for token, pred in zip(tokens, predictions):
    print(f"{token:15}→{model.config.id2label.get(pred, 'UNK')}")

输出示例

python 复制代码
[CLS]          →O
容              →B-易碎裂
易              →I-易碎裂
碎              →I-易碎裂
裂              →I-易碎裂
。              →O
质              →B-质量差
量              →I-质量差
太              →I-质量差
差              →I-质量差
,              →O
不              →O
值              →O
这              →O
个              →O
价              →O
。              →O
[SEP]          →O
相关推荐
码界奇点14 分钟前
Python内置函数全解析:30个核心函数语法、案例与最佳实践指南
linux·服务器·python
dreams_dream32 分钟前
django错误记录
后端·python·django
MC皮蛋侠客1 小时前
使用Python实现DLT645-2007智能电表协议
python·网络协议·tcp/ip·能源
中等生1 小时前
Python 的循环引入问题
python
站大爷IP2 小时前
Python字符串全解析:从基础操作到高级技巧
python
中等生2 小时前
FastAPI vs Flask 性能对比:异步的真正优势在哪里?
python
DFT计算杂谈2 小时前
EPWpy教程:一个脚本完成能带、声子、电声耦合、弛豫时间计算
python
hui函数3 小时前
Flask蓝图:模块化开发的利器
后端·python·flask
跟橙姐学代码3 小时前
Python 装饰器超详细讲解:从“看不懂”到“会使用”,一篇吃透
前端·python·ipython
站大爷IP3 小时前
Rust爬虫实战:用reqwest+select打造高效网页抓取工具
python