NLP:命名实体识别及案例(Bert微调)

1. 命名实体识别

命名实体识别(Named Entity Recognition, NER)是自然语言处理中的一种技术,旨在从文本中识别并分类特定的实体。实体通常包括人名、地名、机构名、时间、日期、货币等。这种识别在许多实际应用中非常重要,如信息提取、自动问答、机器翻译和文本摘要。

2. 利用Bert微调模型进行命名实体识别

2.1 BIO标记

BIO标记法是命名实体识别中的一种常用数据标注方案,用于标记文本中每个单词的标签,明确它是属于实体的哪部分。BIO 标记法通过B-、I- 和O三个前缀来表示命名实体的边界和结构:

  • B-(Begin):表示命名实体的开头。例如,B-PER表示人名实体的第一个单词。
  • I-(Inside):表示命名实体的内部部分。例如,I-PER 表示人名实体中非首字的单词。
  • O(Outside):表示这个单词不属于任何命名实体。

BIO标记方法中通常包含:PER(人名)ORG(组织名)LOC(地名)MISC(事件、产品、国籍、语言)

2.2 数据集介绍

这里使用NER任务中常用的数据集:CoNLL-2003,该数据集最早由 CoNLL(Conference on Computational Natural Language Learning)共享任务发布,广泛应用于自然语言处理中的 NER 任务。该数据集中训练集共14041条,验证集共3250条,测试集共3453。训练集中的数据如下:

yaml 复制代码
{
    "chunk_tags": [11, 12, 12, 21, 13, 11, 11, 21, 13, 11, 12, 13, 11, 21, 22, 11, 12, 17, 11, 21, 17, 11, 12, 12, 21, 22, 22, 13, 11, 0],
    "id": "0",
    "ner_tags": [0, 3, 4, 0, 0, 0, 0, 0, 0, 7, 0, 0, 0, 0, 0, 7, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
    "pos_tags": [12, 22, 22, 38, 15, 22, 28, 38, 15, 16, 21, 35, 24, 35, 37, 16, 21, 15, 24, 41, 15, 16, 21, 21, 20, 37, 40, 35, 21, 7],
    "tokens": ["The", "European", "Commission", "said", "on", "Thursday", "it", "disagreed", "with", "German", "advice", "to", "consumers", "to", "shun", "British", "lamb", "until", "scientists", "determine", "whether", "mad", "cow", "disease", "can", "be", "transmitted", "to", "sheep", "."]
}

关于这个数据集,每个部分的具体含义如下:

  • tokens表示文本中的单词。所有的tokens组合起来就是句子的原始文本。NER任务中需要为数据集中的每个单词都会被标注相关的标签。
  • chunk_tags表示短语块标签。它标记出句子中的短语结构,帮助识别出名词短语(NP)、动词短语(VP)、介词短语(PP)等。
  • ner_tags表示命名实体识别标签,使用的是BIO标记法。在该数据集在hugging face上的主页上可以找到BIO标记与数字的对应方式。具体如下:
bash 复制代码
{'O': 0, 'B-PER': 1, 'I-PER': 2, 'B-ORG': 3, 'I-ORG': 4, 'B-LOC': 5, 'I-LOC': 6, 'B-MISC': 7, 'I-MISC': 8}

依据这个信息,European Commission被标记为ORG。

  • pos_tags为词性标签。
2.3 数据labels准备

因为使用BertTokenizer处理数据的tokens时,使用WordPiece分词算法时可能会将一个完整的单词拆分成了多个,所有训练数据集中的ner_tags并不能直接作为后续分类器BertForTokenClassification的labels用于训练。在这种情况下,标签需要与每个子词对齐,可以采用如下规则:

  • 第一个子词保留原始标签,比如B-ORG,其余子词可以标注为I-ORG。举例如下:
bash 复制代码
tokens = ['Ap', '##ple', 'is', 'a', 'technology', 'company']
labels = ['B-ORG', 'I-ORG', 'O', 'O', 'O', 'O']
2.4 Bert微调
python 复制代码
from datasets import load_dataset
from transformers import BertTokenizerFast, BertForTokenClassification
from transformers import TrainingArguments, Trainer

# 加载 CoNLL-2003 数据集
dataset = load_dataset("conll2003")
train_dataset = dataset["train"]
eval_dataset = dataset["validation"]
test_dataset = dataset["test"]
# 加载 BERT tokenizer 和模型
tokenizer = BertTokenizerFast.from_pretrained("bert-base-cased")
label_list = dataset["train"].features["ner_tags"].feature.names
print(train_dataset[0])
def tokenize_and_align_labels(examples):
    tokenized_inputs = tokenizer(examples["tokens"], truncation=True, padding="max_length",
                                 is_split_into_words=True)
    labels= []
    for i, label in enumerate(examples["ner_tags"]):
        word_ids = tokenized_inputs.word_ids(batch_index=i)
        previous_word_idx = None
        label_ids = []
        for word_idx in word_ids:
            if word_idx is None:
                label_ids.append(-100)
            elif word_idx != previous_word_idx:
                label_ids.append(label[word_idx])
            else:
                label_ids.append(label[word_idx])
            previous_word_idx = word_idx
        labels.append(label_ids)
    tokenized_inputs["labels"] = labels
    print(labels[0])
    print(len(tokenized_inputs.input_ids[0]),len(labels[0]))
    return tokenized_inputs

train_dataset = train_dataset.map(tokenize_and_align_labels, batched=True)
eval_dataset = eval_dataset.map(tokenize_and_align_labels, batched=True)
test_dataset = test_dataset.map(tokenize_and_align_labels, batched=True)

model= BertForTokenClassification.from_pretrained("bert-base-cased", 
                                                  num_labels=len(label_list))
training_args = TrainingArguments(
    output_dir='./results',          # 输出目录
    eval_strategy="epoch",     # 每个 epoch 进行评估
    learning_rate=2e-5,              # 学习率
    per_device_train_batch_size=16,  # 训练 batch size
    per_device_eval_batch_size=16,   # 评估 batch size
    num_train_epochs=3,              # 训练 epoch 数
    weight_decay=0.01,               # 权重衰减
)

# 使用 Trainer API
trainer = Trainer(
    model=model,                      # 待训练的模型
    args=training_args,               # 训练参数
    train_dataset=train_dataset,  # 训练数据集
    eval_dataset=eval_dataset,  # 验证数据集
    tokenizer=tokenizer               # 使用的 tokenizer
)

trainer.train()
eval_results = trainer.evaluate()
print(eval_results)
pred_results = trainer.predict(test_dataset)
print(pred_results)
相关推荐
阿坡RPA6 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户27784491049936 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心7 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI9 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c9 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得20510 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清10 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh10 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员10 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物11 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技