【NLP 68、R-BERT】

为什么划掉你的名字,为什么不敢与你对视

------ 25.4.21

一、R-BERT:基于BERT的关系抽取模型

R-BERT(Relation BERT)是一种用于关系抽取(Relation Extraction)任务的模型,它结合了预训练语言模型 BERT(Bidirectional Encoder Representations from Transformers)的强大语言理解能力,在关系抽取领域取得了较好的效果。

输入一段文本,在两个特殊的实体前后加上两对不同的token,用token强调不同的实体

1.模型结构与设计

Ⅰ、核心思想

在BERT基础上显式标记实体位置,结合句子全局信息和实体局部信息进行关系分类。

Ⅱ、输入设计

① 实体标记

在实体前后插入特殊符号(如 "实体1" 和 "#实体2#"),帮助BERT定位实体位置。

② 输出特征

提取BERT输出的三部分向量------[CLS]句子向量、实体1的平均向量、实体2的平均向量。

Ⅲ、分类模块

① 特征融合

将三个向量分别通过Dropout、Tanh激活和全连接层,拼接后输入分类器。

② 共享权重

实体1和实体2的特征处理层共享参数,减少模型复杂度。


2.计算方式与训练策略

Ⅰ、实体向量计算

对实体对应的隐藏状态进行平均池化,生成实体表征。

Ⅱ、损失函数

多类交叉熵损失,适用于关系分类任务(如SemEval-2010 Task 8数据集中的9类关系)。

Ⅲ、关键实验结论

移除实体标记符会使F1值下降1.27%,仅使用[CLS]向量则下降1.26%,证明显式标记实体的重要性


3.应用场景

Ⅰ、人物关系分类

例如识别"亲戚""上下级"等社会关系。

Ⅱ、医学文本分析

提取疾病与症状之间的关联。

Ⅲ、事件抽取

识别新闻中的实体间因果关系。


4.关键技术优势

Ⅰ、实体感知

通过特殊符号和向量融合增强模型对实体的关注。

Ⅱ、高效微调

基于预训练BERT快速适配关系分类任务,减少数据需求。

Ⅲ、高准确率

在SemEval-2010 Task 8数据集上F1值达89.25%,接近当时SOTA水平。


二、模型对比与总结

维度 KG-BERT R-BERT
核心任务 知识图谱补全(三元组分类、链接预测) 关系抽取(实体间语义关系分类)
输入设计 三元组序列化,融合实体描述文本 显式标记实体位置,提取实体向量
关键技术 BERT+知识图谱融合、负样本生成 实体标记符、多特征融合
应用领域 问答系统、推荐系统、语义搜索 社交网络分析、医学文本挖掘、事件抽取
性能指标 在WN11、FB15K等数据集达到SOTA SemEval-2010 Task 8的F1值89.25%

三、代码示例

python 复制代码
import torch
from transformers import BertTokenizer, BertModel

# 加载预训练的BERT模型和分词器,修改为bert-base-chinese
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
bert_model = BertModel.from_pretrained('bert-base-chinese')

# 示例输入
text = "苹果公司是一家科技公司,史蒂夫·乔布斯是其创始人。"
head_entity = "苹果公司"
tail_entity = "史蒂夫·乔布斯"

# 添加实体标记
text_with_entities = text.replace(head_entity, f"<e1>{head_entity}</e1>").replace(tail_entity, f"<e2>{tail_entity}</e2>")

# 分词
inputs = tokenizer(text_with_entities, return_tensors='pt')

# 通过BERT模型进行编码
outputs = bert_model(**inputs)

# 提取实体和上下文表示
e1_start = inputs['input_ids'][0].tolist().index(tokenizer.convert_tokens_to_ids('<e1>')) + 1
e1_end = inputs['input_ids'][0].tolist().index(tokenizer.convert_tokens_to_ids('</e1>'))
e2_start = inputs['input_ids'][0].tolist().index(tokenizer.convert_tokens_to_ids('<e2>')) + 1
e2_end = inputs['input_ids'][0].tolist().index(tokenizer.convert_tokens_to_ids('</e2>'))

e1_representation = torch.mean(outputs.last_hidden_state[0, e1_start:e1_end, :], dim=0)
e2_representation = torch.mean(outputs.last_hidden_state[0, e2_start:e2_end, :], dim=0)
context_representation = outputs.last_hidden_state[0, 0, :]  # [CLS]标记的表示

# 拼接表示
combined_representation = torch.cat([e1_representation, e2_representation, context_representation], dim=0)

# 假设这里有一个全连接层进行关系分类
num_relations = 3  # 假设有3种关系
classification_layer = torch.nn.Linear(combined_representation.size(0), num_relations)
logits = classification_layer(combined_representation)
probs = torch.softmax(logits, dim=0)

# 预测的关系类别
predicted_relation = torch.argmax(probs).item()

print(f"预测的关系类别: {predicted_relation}")
    
相关推荐
Psycho_MrZhang30 分钟前
偏导数和梯度
人工智能·机器学习
threelab1 小时前
15.three官方示例+编辑器+AI快速学习webgl_buffergeometry_instancing
人工智能·学习·编辑器
李昊哲小课1 小时前
tensorflow-cpu
大数据·人工智能·python·深度学习·数据分析·tensorflow
qq_189370492 小时前
自然语言处理NLP中的连续词袋(Continuous bag of words,CBOW)方法、优势、作用和程序举例
人工智能·自然语言处理·连续词袋
threelab6 小时前
07.three官方示例+编辑器+AI快速学习webgl_buffergeometry_attributes_integer
人工智能·学习·编辑器
背太阳的牧羊人6 小时前
tokenizer.encode_plus,BERT类模型 和 Sentence-BERT 他们之间的区别与联系
人工智能·深度学习·bert
学算法的程霖6 小时前
TGRS | FSVLM: 用于遥感农田分割的视觉语言模型
人工智能·深度学习·目标检测·机器学习·计算机视觉·自然语言处理·遥感图像分类
博睿谷IT99_6 小时前
华为HCIP-AI认证考试版本更新通知
人工智能·华为
一点.点7 小时前
SafeDrive:大语言模型实现自动驾驶汽车知识驱动和数据驱动的风险-敏感决策——论文阅读
人工智能·语言模型·自动驾驶
concisedistinct8 小时前
如何评价大语言模型架构 TTT ?模型应不应该永远“固定”在推理阶段?模型是否应当在使用时继续学习?
人工智能·语言模型·大模型