python transformers库笔记(BertForTokenClassification类)

BertForTokenClassification类

BertForTokenclassification类是Hugging Face transformers库中专门为基于BERT的序列标注任务(如命名实体识别NER、词性标注POS)设计的模型类。它在BERT的基础上添加了一个线性分类层,用于对每个token进行分类。

1、特点

任务类型:专为Token-level分类设计,即对输入序列中的每一个token预测一个标签。典型应用有命名实体识别(NER)、词性标注(POS)、语义角色标注(SRL)

2、模型架构

复制代码
BERT Base Model (bert-base-uncased等)
      ↓
[CLS] Token 1 Token 2 ... Token N [SEP]  (输出隐藏状态)
      ↓
Dropout Layer (可选)
      ↓
Linear Classifier (hidden_size → num_labels)
      ↓
Softmax (输出每个 token 的标签概率)

3、关键组件

BERT编辑器:提取上下文相关的token表示(支持所有BERT变体)

分类头:将每个token的隐藏状态映射到标签空间(hidden_size→num_labels)

CRF层(可选):可通过扩展添加条件随机场层,提升标签间依赖建模(需自定义实现)

4、使用方法

(1)加载预训练模型

python 复制代码
import torch
from transformers import BertForTokenClassification, BertTokenizerFast


model = BertForTokenClassification.from_pretrained(
    'chinese-bert-wwm',
    num_labels=10,  # 标签数量
    id2label={0: 'O', 1: 'B-质量差', 2: 'I-质量差', ......}  # 标签映射
)
tokenizer = BertTokenizerFast.from_pretrained('chinese-bert-wwm')

(2)数据预处理

python 复制代码
text = '容易碎裂。质量太差,不值这个价。'
input = tokenizer(
    text,
    return_tensor='pt',
    trucation=True,
    padding=True,
    return_offsets_mapping=True
)
# 假设0=O,1=B-质量差,2=I-质量差,3=B-易碎裂,4=I-易碎裂
labels = [3, 4, 4, 4, 4, 1, 2, 2, 2, 0, 0, 0, 0, 0, 0, 0]
inputs["labels"] = torch.tensor([labels])

(3)模型推理

python 复制代码
outputs = model(**inputs)
logits = outputs.logits  # 形状:(batch_size, seq_len, num_labels)

# 获取预测标签
predictions = torch.argmax(logits, dim=-1)[0].tolist()
tokens = tokenizer.convert_ids_to_tokens(inputs['input_ids'][0])

# 打印结果
for token, pred in zip(tokens, predictions):
    print(f"{token:15}→{model.config.id2label.get(pred, 'UNK')}")

输出示例

python 复制代码
[CLS]          →O
容              →B-易碎裂
易              →I-易碎裂
碎              →I-易碎裂
裂              →I-易碎裂
。              →O
质              →B-质量差
量              →I-质量差
太              →I-质量差
差              →I-质量差
,              →O
不              →O
值              →O
这              →O
个              →O
价              →O
。              →O
[SEP]          →O
相关推荐
JonaHu9 分钟前
关键词排名突然消失?用 Python、SQLite 和 SERP API 搭一套可解释的 SEO 监控
python·sqlite·seo·serp api
prince_zxill1 小时前
把 17 个散文件装进一个文件夹:拆解 claude-plugins-official 的插件打包术(47,413 Star 实测)
python·github·agent·mcp·claude code
少司府1 小时前
嵌入式外设篇(三)GPIO·三:MCU系统结构、总线与统一编制
linux·python·stm32·单片机·嵌入式硬件·mcu·嵌入式软件
伞伞悦读2 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
console.log('npc')3 小时前
Python 学习教程 · 第4课:数据结构
数据结构·python·学习
honker_X3 小时前
Python字符串全攻略:从入门到精通
开发语言·python
贾公子3 小时前
异步检测的轮询与超时——别把「还没好」当成「失败了」
后端·python
吃我一窝jio3 小时前
Docker+Jenkins+K8s全流程部署
java·开发语言·笔记·python
欢乐马87914 小时前
优化|MPSolver 和 pywraplp 到底谁是谁?一次讲清 OR-Tools 的三层结构
python
mengge.cloud6 小时前
Python基础保姆级!从入门到入土
开发语言·python·云原生·pygame