【NLP 68、R-BERT】

为什么划掉你的名字,为什么不敢与你对视

------ 25.4.21

一、R-BERT:基于BERT的关系抽取模型

R-BERT(Relation BERT)是一种用于关系抽取(Relation Extraction)任务的模型,它结合了预训练语言模型 BERT(Bidirectional Encoder Representations from Transformers)的强大语言理解能力,在关系抽取领域取得了较好的效果。

输入一段文本,在两个特殊的实体前后加上两对不同的token,用token强调不同的实体

1.模型结构与设计

Ⅰ、核心思想

在BERT基础上显式标记实体位置,结合句子全局信息和实体局部信息进行关系分类。

Ⅱ、输入设计

① 实体标记

在实体前后插入特殊符号(如 "实体1" 和 "#实体2#"),帮助BERT定位实体位置。

② 输出特征

提取BERT输出的三部分向量------[CLS]句子向量、实体1的平均向量、实体2的平均向量。

Ⅲ、分类模块

① 特征融合

将三个向量分别通过Dropout、Tanh激活和全连接层,拼接后输入分类器。

② 共享权重

实体1和实体2的特征处理层共享参数,减少模型复杂度。


2.计算方式与训练策略

Ⅰ、实体向量计算

对实体对应的隐藏状态进行平均池化,生成实体表征。

Ⅱ、损失函数

多类交叉熵损失,适用于关系分类任务(如SemEval-2010 Task 8数据集中的9类关系)。

Ⅲ、关键实验结论

移除实体标记符会使F1值下降1.27%,仅使用[CLS]向量则下降1.26%,证明显式标记实体的重要性


3.应用场景

Ⅰ、人物关系分类

例如识别"亲戚""上下级"等社会关系。

Ⅱ、医学文本分析

提取疾病与症状之间的关联。

Ⅲ、事件抽取

识别新闻中的实体间因果关系。


4.关键技术优势

Ⅰ、实体感知

通过特殊符号和向量融合增强模型对实体的关注。

Ⅱ、高效微调

基于预训练BERT快速适配关系分类任务,减少数据需求。

Ⅲ、高准确率

在SemEval-2010 Task 8数据集上F1值达89.25%,接近当时SOTA水平。


二、模型对比与总结

维度 KG-BERT R-BERT
核心任务 知识图谱补全(三元组分类、链接预测) 关系抽取(实体间语义关系分类)
输入设计 三元组序列化,融合实体描述文本 显式标记实体位置,提取实体向量
关键技术 BERT+知识图谱融合、负样本生成 实体标记符、多特征融合
应用领域 问答系统、推荐系统、语义搜索 社交网络分析、医学文本挖掘、事件抽取
性能指标 在WN11、FB15K等数据集达到SOTA SemEval-2010 Task 8的F1值89.25%

三、代码示例

python 复制代码
import torch
from transformers import BertTokenizer, BertModel

# 加载预训练的BERT模型和分词器,修改为bert-base-chinese
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
bert_model = BertModel.from_pretrained('bert-base-chinese')

# 示例输入
text = "苹果公司是一家科技公司,史蒂夫·乔布斯是其创始人。"
head_entity = "苹果公司"
tail_entity = "史蒂夫·乔布斯"

# 添加实体标记
text_with_entities = text.replace(head_entity, f"<e1>{head_entity}</e1>").replace(tail_entity, f"<e2>{tail_entity}</e2>")

# 分词
inputs = tokenizer(text_with_entities, return_tensors='pt')

# 通过BERT模型进行编码
outputs = bert_model(**inputs)

# 提取实体和上下文表示
e1_start = inputs['input_ids'][0].tolist().index(tokenizer.convert_tokens_to_ids('<e1>')) + 1
e1_end = inputs['input_ids'][0].tolist().index(tokenizer.convert_tokens_to_ids('</e1>'))
e2_start = inputs['input_ids'][0].tolist().index(tokenizer.convert_tokens_to_ids('<e2>')) + 1
e2_end = inputs['input_ids'][0].tolist().index(tokenizer.convert_tokens_to_ids('</e2>'))

e1_representation = torch.mean(outputs.last_hidden_state[0, e1_start:e1_end, :], dim=0)
e2_representation = torch.mean(outputs.last_hidden_state[0, e2_start:e2_end, :], dim=0)
context_representation = outputs.last_hidden_state[0, 0, :]  # [CLS]标记的表示

# 拼接表示
combined_representation = torch.cat([e1_representation, e2_representation, context_representation], dim=0)

# 假设这里有一个全连接层进行关系分类
num_relations = 3  # 假设有3种关系
classification_layer = torch.nn.Linear(combined_representation.size(0), num_relations)
logits = classification_layer(combined_representation)
probs = torch.softmax(logits, dim=0)

# 预测的关系类别
predicted_relation = torch.argmax(probs).item()

print(f"预测的关系类别: {predicted_relation}")
    
相关推荐
陈佬昔没带相机2 分钟前
[译]AI 是资深开发者的黄金时代
人工智能·程序员
Lilith的AI学习日记13 分钟前
n8n 中文系列教程_04.半开放节点深度解析:Code与HTTP Request高阶用法指南
大数据·人工智能·aigc·n8n
带娃的IT创业者22 分钟前
《AI大模型应知应会100篇》第22篇:系统提示词(System Prompt)设计与优化
人工智能·prompt
绝顶大聪明27 分钟前
【图像轮廓特征查找】图像处理(OpenCV) -part8
图像处理·人工智能·opencv
liruiqiang0527 分钟前
神经网络优化 - 小批量梯度下降之批量大小的选择
人工智能·深度学习·神经网络·机器学习·梯度下降
AI大模型顾潇28 分钟前
[特殊字符] Prompt如何驱动大模型对本地文件实现自主变更:Cline技术深度解析
前端·人工智能·llm·微调·prompt·编程·ai大模型
Blossom.11836 分钟前
量子计算与经典计算融合:开启计算新时代
人工智能·深度学习·opencv·物联网·生活·边缘计算·量子计算
AI技术学长1 小时前
深度学习-python猫狗识别tensorflow2.0
人工智能·深度学习·计算机视觉·图像识别·计算机技术·tensorflow2·猫狗识别
6confim1 小时前
掌握 Cursor:AI 编程助手的高效使用技巧
前端·人工智能·后端
offerwa1 小时前
LLM多模态能力应用实战指南
人工智能