Fine-tuning Large Enterprise Language Models via Ontological Reasoning

本文是LLM系列文章,针对《Fine-tuning Large Enterprise Language Models via Ontological Reasoning》的翻译。

基于本体论推理的大型企业语言模型微调

  • 摘要
  • [1 引言](#1 引言)
  • [2 微调LLM的神经符号管道](#2 微调LLM的神经符号管道)
  • [3 通过概念证明进行初步验证](#3 通过概念证明进行初步验证)
  • [4 结论](#4 结论)

摘要

大型语言模型(LLM)利用特定任务的训练数据,将微调作为一种适应不同目标的技术。任务特异性应该与领域定向齐头并进,即LLM的专业化,以准确地处理给定感兴趣领域的任务。然而,模型通常是根据公开可用的数据进行微调的,或者最多是根据数据库中的真实数据进行微调,而忽略了业务级别的定义和领域经验。另一方面,企业知识图谱(EKG)能够通过本体论推理来捕获和增强这些领域知识。为了将LLM的灵活性与EKG的领域定向相结合,我们提出了一种新的神经符号体系结构,该体系结构利用本体论推理的力量来构建用于LLM微调的任务和领域特定语料库。

1 引言

2 微调LLM的神经符号管道

3 通过概念证明进行初步验证

4 结论

根据计算语言学协会欧洲分会最近发表的一项工作,预先训练的语言模型还不能进行演绎推理:它们仍然不能概括逻辑规则,即使提供了规则,LLM也倾向于忘记以前推断的事实。虽然Transformer架构和推理方法之间还没有进行广泛的比较,但我们的工作表明,通过产生微调语料库作为本体论推理的副产品,可以明显提高领域特定NLP任务的LLM性能。我们利用我们在演绎推理方面的经验,为在企业知识图谱上进行推理的神经符号平台迈出了第一步。

相关推荐
算AI1 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c2 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得2052 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清2 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh3 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员3 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物3 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技
云卓SKYDROID3 小时前
科技赋能消防:无人机“挂弹灭火“构筑森林防火墙!
人工智能·科技·无人机·科普·云卓科技
gaoshengdainzi3 小时前
镜片防雾性能测试仪在自动驾驶与无人机领域的创新应用
人工智能·自动驾驶·无人机·镜片防雾性能测试仪
Listennnn3 小时前
优雅的理解神经网络中的“分段线性单元”,解剖前向和反向传播
人工智能·深度学习·神经网络