RATE:基于LLM的检索增强生成技术提取管道
在技术变革的时代,技术图谱对提升决策制定起着关键作用。这些图谱高度依赖于自动化的技术提取方法。本文介绍了检索增强技术提取(RATE),一种基于大型语言模型(LLM)的从科学文献中自动提取技术的管道。
RATE将检索增强生成(RAG)与基于LLM的多定义验证相结合。这种混合方法在候选生成阶段实现高召回率,同时在候选筛选阶段保持高精确度。虽然该管道设计为通用且广泛适用,但我们以678篇聚焦脑机接口(BCI)和扩展现实(XR)的研究文章作为案例展示其应用。
经RATE验证的技术术语被映射到共现网络中,揭示了研究领域的主题集群和结构特征。为评估效果,专家们人工标注了70篇随机选取文章中的技术术语作为黄金标准数据集,并采用基于BERT的技术提取模型作为对比方法。RATE取得91.27%的F1分数,显著优于BERT模型的53.73%。
我们的研究结果凸显了基于定义驱动的LLM方法在技术提取和映射方面的潜力,同时为BCI-XR领域的新兴趋势提供了新见解。源代码可通过此链接获取:https://...
更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)
公众号二维码