【传知代码】知识图谱推理-论文复现

文章目录

本文涉及的源码可从知识图谱推理该文章下方附件获取

概述

本研究深入探讨了基于图神经网络(GNN)的知识图谱推理,特别聚焦于传播路径的优化与应用。在智能问答、推荐系统等前沿应用中,知识图谱推理发挥着不可或缺的作用。然而,传统GNN方法在处理大规模知识图谱时,往往面临效率和准确度的双重挑战。为了克服这些局限,本研究提出了一种创新的自适应传播策略AdaProp,并通过与经典的Red-GNN方法进行对比实验,验证了其优越性。

论文名称:AdaProp: Learning Adaptive Propagation for Graph Neural Network based Knowledge Graph Reasoning

作者:Yongqi Zhang, Zhanke Zhou, Quanming Yao, Xiaowen Chu, and Bo Han

出处:Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '23), August 6--10, 2023, Long Beach, CA, USA

在本论文的基础上添加tensorboard可视化结果

原代码链:https://github.com/LARS-research/AdaProp

方法介绍

通过有效的采样技术来动态调整传播路径,既考虑到查询实体和查询关系的依赖性,又避免在传播过程中涉及过多无关实体,从而提高推理效率并减少计算成本。这将涉及到开发新的采样策略,以确保在扩展传播路径时能够保持对目标答案实体的精确预测。为此,提出了一种名为AdaProp的基于GNN的方法,该算法可以根据给定的查询动态调整传播路径。

在知识图谱推理领域,传统的方法如全传播、渐进式传播和受限传播都各自有优势和局限。提出的AdaProp方法在效率和性能上对这些传统方法进行了显著的优化。

核心逻辑

实验条件

使用Python环境和PyTorch框架,在单个NVIDIA RTX 3070 GPU上进行,该GPU具有8GB的内存。实验的主要目的是验证AdaProp算法在传导(transductive)和归纳(inductive)设置下的有效性,并分析其各个组成部分在模型性能中的作用。

数据集

family数据集,存放在./transductive/data文件夹下

实验步骤

step1:安装环境依赖

python 复制代码
torch == 1.12.1
torch_scatter == 2.0.9
numpy == 1.21.6
scipy == 1.10.1

step2:进入项目目录,进行训练

step3:输入tensorboard指令,可视化结果

实验结果

核心代码

python 复制代码
# start
 check all output paths
    checkPath('./results/')
    checkPath(f'./results/{dataset}/')
    checkPath(f'{loader.task_dir}/saveModel/')

    model = BaseModel(opts, loader)
    opts.perf_file = f'results/{dataset}/{model.modelName}_perf.txt'
    print(f'==> perf_file: {opts.perf_file}')

    config_str = '%.4f, %.4f, %.6f,  %d, %d, %d, %d, %.4f,%s\n' % (
    opts.lr, opts.decay_rate, opts.lamb, opts.hidden_dim, opts.attn_dim, opts.n_layer, opts.n_batch, opts.dropout,
    opts.act)
    print(config_str)
    with open(opts.perf_file, 'a+') as f:
        f.write(config_str)

    if args.weight != None:
        model.loadModel(args.weight)
        model._update()
        model.model.updateTopkNums(opts.n_node_topk)

    if opts.train:
        writer = SummaryWriter(log_dir=f'./tensorboard_logs/{dataset}')
        # training mode
        best_v_mrr = 0
        for epoch in range(opts.epoch):
            epoch_loss = model.train_batch()
            if epoch_loss is not None:
                writer.add_scalar('Training Loss', epoch_loss, epoch)
            else:
                print("Warning: Skipping logging of Training Loss due to NoneType.")
            model.train_batch()
            # eval on val/test set
            if (epoch + 1) % args.eval_interval == 0:
                result_dict, out_str = model.evaluate(eval_val=True, eval_test=True)
                v_mrr, t_mrr = result_dict['v_mrr'], result_dict['t_mrr']
                writer.add_scalar('Validation MRR', result_dict['v_mrr'], epoch)
                writer.add_scalar('Validation Hits@1', result_dict['v_h1'], epoch)
                writer.add_scalar('Validation Hits@10', result_dict['v_h10'], epoch)
                writer.add_scalar('Test MRR', result_dict['t_mrr'], epoch)
                writer.add_scalar('Test Hits@1', result_dict['t_h1'], epoch)
                writer.add_scalar('Test Hits@10', result_dict['t_h10'], epoch)
                print(out_str)
                with open(opts.perf_file, 'a+') as f:
                    f.write(out_str)
                if v_mrr > best_v_mrr:
                    best_v_mrr = v_mrr
                    best_str = out_str
                    print(str(epoch) + '\t' + best_str)
                    BestMetricStr = f'ValMRR_{str(v_mrr)[:5]}_TestMRR_{str(t_mrr)[:5]}'
                    model.saveModelToFiles(BestMetricStr, deleteLastFile=False)

        # show the final result
        print(best_str)
        writer.close()
        model.writer.close()

小结

AdaProp的成功并非偶然。其自适应传播策略使得模型能够根据不同的情况调整信息传播策略,从而更加精确地捕获节点之间的关系。这种灵活性是传统GNN所缺乏的,也是AdaProp能够在多个数据集上取得显著提升的关键原因。此外,AdaProp的引入也为知识图谱推理领域带来了新的研究方向和思路,为未来的研究提供了有益的参考。

本研究通过提出AdaProp自适应传播策略,并在多个数据集上进行实验验证,充分证明了其在知识图谱推理中的优越性。AdaProp不仅提高了推理的准确性和效率,还为该领域的未来发展提供了新的方向。未来,我们将继续探索AdaProp的潜力,优化其算法结构,以期在更多领域取得更加卓越的表现。同时,我们也期待更多的研究者能够关注这一领域,共同推动知识图谱推理技术的发展。

相关推荐
Deepoch2 分钟前
Deepoc 大模型:无人机行业的智能变革引擎
人工智能·科技·算法·ai·动态规划·无人机
kngines30 分钟前
【字节跳动】数据挖掘面试题0003:有一个文件,每一行是一个数字,如何用 MapReduce 进行排序和求每个用户每个页面停留时间
人工智能·数据挖掘·mapreduce·面试题
Binary_ey30 分钟前
AR衍射光波导设计遇瓶颈,OAS 光学软件来破局
人工智能·软件需求·光学软件·光波导
昵称是6硬币37 分钟前
YOLOv11: AN OVERVIEW OF THE KEY ARCHITECTURAL ENHANCEMENTS目标检测论文精读(逐段解析)
图像处理·人工智能·深度学习·yolo·目标检测·计算机视觉
平和男人杨争争1 小时前
机器学习2——贝叶斯理论下
人工智能·机器学习
静心问道1 小时前
XLSR-Wav2Vec2:用于语音识别的无监督跨语言表示学习
人工智能·学习·语音识别
算家计算1 小时前
5 秒预览物理世界,2 行代码启动生成——ComfyUI-Cosmos-Predict2 本地部署教程,重塑机器人训练范式!
人工智能·开源
摆烂工程师1 小时前
国内如何安装和使用 Claude Code 教程 - Windows 用户篇
人工智能·ai编程·claude
云天徽上9 天前
【目标检测】图像处理基础:像素、分辨率与图像格式解析
图像处理·人工智能·目标检测·计算机视觉·数据可视化
Vertira9 天前
PyTorch中的permute, transpose, view, reshape和flatten函数详解(已解决)
人工智能·pytorch·python