[Nature子刊]浙大SciToolAgent：用知识图谱驱动的科学智能体实现多工具集成

SciToolAgent: A Knowledge Graph-Driven Scientific Agent for Multi-Tool Integration

摘要

本文介绍了SciToolAgent，一个基于大语言模型的科学智能体，可自动化处理生物学、化学和材料科学领域的数百个专业计算工具，通过构建科学工具知识图谱实现智能工具选择和执行，显著提升科研效率。

gitHub链接: https://github.com/HICAI-ZJU/SciToolAgent

正文

引言：科学研究的工具整合挑战

科学研究日益依赖专业化计算工具来完成从数据分析到结果可视化的各种关键任务。这些工具虽然已成为推动科学发现不可或缺的资源，但其日益增长的复杂性和多样性却为研究者的应用带来了巨大障碍。例如，化学家通常需要使用特定工具进行分子模拟、性质预测和化合物设计。对于初学者而言，缺乏有效利用这些强大资源所需的技术专业知识，可能会阻碍科学进步。

大语言模型（LLMs）作为前沿AI技术，已在自然语言理解到复杂推理任务等多个领域展现出前所未有的能力。近期研究在将LLMs与特定领域的科学工具整合方面取得了令人瞩目的进展。

在化学领域，包括Coscientist、ChemChat、ChemCrow和CACTUS在内的几个开创性系统通过LLM-工具整合实现了自主化学研究。生物科学领域也出现了类似进展，如GeneGPT、CRISPR-GPT、GenoAgent和ProtAgents等系统增强了LLMs在RNA测序、基因编辑和蛋白质发现等专业任务中的应用。

现有方法的局限性

然而，当前的方法面临两个关键限制：（1）它们操作的工具集有限（通常少于二十个），限制了其更广泛的适用性；（2）它们经常忽视科学研究中至关重要的安全和伦理考虑。

依靠朴素上下文学习的当前智能体框架往往在处理复杂科学问题时遇到困难，因为它们无法考虑广泛工具阵列之间的内在依赖关系。这些依赖关系主要以顺序关系为特征，即一个工具的输出作为下一个工具的输入，需要精确的操作顺序。未能考虑这些相互依赖的关系经常导致处理多步骤科学工作流程时出现次优解决方案和效率降低。

SciToolAgent：创新的解决方案

本研究提出了SciToolAgent，这是一个有效整合广泛多样科学工具与LLMs的智能体框架。具体而言，SciToolAgent利用先进的LLMs作为规划器（Planner）、执行器（Executor）和总结器（Summarizer），自主规划、执行多个工具并为科学任务总结解决方案。

[SciToolAgent概览图，展示(a)工具集概况 (b)SciToolKG架构 (c)整体工作流程]

SciToolAgent引入了两个关键创新：

全面的科学工具知识图谱（SciToolKG）

：编码了生物学、化学和材料科学领域数百个工具之间的关系
集成安全模块

：确保负责任的科学研究，解决了现有框架经常忽视自动化科学发现伦理影响的关键限制

核心技术架构

科学工具知识图谱（SciToolKG）

SciToolKG在规划过程中发挥关键作用，使LLMs能够就工具选择和组合做出明智决策以实现最优问题解决。该知识图谱显式建模工具依赖关系、先决条件和兼容性，涵盖每个工具的输入/输出格式、特定功能、安全级别等多样化信息。

三大核心组件

SciToolAgent的实施工作流程包含三个主要组件：

工具规划器（Tool Planner）

：利用基于SciToolKG的检索增强生成来生成能够解决给定查询的工具链
工具执行器（Tool Executor）

：按顺序实施这些工具，如果出现错误会重试
解决方案总结器（Solution Summarizer）

：编译和综合来自各种工具的输出以生成最终答案

此外，系统还采用基于检索的安全检查模块来识别工具内潜在的有害响应。如果总结器判断使用当前计划无法解决问题，它将提示规划器改进工具链。

实验评估与性能表现

SciToolEval基准测试

我们使用科学工具评估（SciToolEval）基准对SciToolAgent进行评估，该基准包含531个跨越多个领域和复杂性级别的多样化科学问题。定量分析表明，SciToolAgent达到了94%的总体准确率，超越最先进基线方法10%。

[图2不同智能体和基础模型的比较结果，展示SciToolAgent在所有评估指标和级别上始终优于基线方法]

案例研究验证

我们通过四个场景的案例研究进一步验证了SciToolAgent的有效性：

蛋白质设计与分析
化学反应性预测

化学合成与分析

金属有机框架（MOF）材料筛选

这些研究展示了SciToolAgent在保持解决方案可靠性和准确性的同时，自主编排复杂多工具工作流程的能力。

MOF材料筛选案例

在MOF材料筛选案例中，通过根据热稳定性、CO2吸附能力和价格过滤MOFs，SciToolAgent成功识别出TBAPy_Ti_Andres.cif作为满足所有预定义标准的高度有希望的候选者。选定MOF结构的可视化进一步支持了分析，突出了对稳定性和吸附性质有贡献的结构要素，为后续实验验证提供了有价值的见解。

技术优势与创新点

SciToolAgent的主要优势在于通过SciToolKG整合多样化科学工具，该知识图谱捕获了工具依赖关系、输入/输出格式和应用环境的复杂性。以往基于LLM的框架受限于工具集有限和简单的任务规划策略。相比之下，SciToolAgent可以动态创建针对每个科学任务特定要求定制的工具链。

这种能力使研究人员能够将重复性或计算密集型步骤委托给SciToolAgent，使科学探索对领域专家和非专家都更加便捷和高效。

挑战与未来发展

知识图谱扩展性挑战

SciToolAgent的一个潜在限制在于SciToolKG知识图谱的手工构建。尽管SciToolKG有效捕获关系和依赖性，但其可扩展性受到策划和更新工具信息所需努力的限制。使用从科学文献或工具文档元数据中提取知识的自动化方法，可以进一步增强SciToolKG的可扩展性和粒度。

为了促进可扩展性，我们提供标准化APIs和模板，以最小的努力支持第三方工具集成。未来版本还将包括基于GUI的注册，以降低没有编程经验的领域专家的门槛。

LLM能力依赖性

另一个挑战在于依赖底层LLM的能力在各种科学任务中有效执行。虽然GPT-4o等专有模型表现出强劲性能，但对所有研究人员（特别是资源有限环境中的研究人员）来说，它们在经济和技术上可能无法获得。

我们使用开源模型的实验表明，使用特定领域数据的微调可以提高性能，部分弥合开源和专有替代方案之间的差距。然而，即使经过微调，Qwen2.5-7B-FT仍落后于GPT-4o，特别是在复杂工具规划和多步推理方面。

未来展望

尽管与SciToolKG的可扩展性和对专有LLM模型的依赖相关的挑战仍然存在，SciToolAgent为自动化复杂科学工作流程提供了坚实的基础。未来工作将专注于自动化知识图谱的维护、集成更多工具，以及增强开源LLM能力以进一步民主化对先进科学研究的访问。

最终，SciToolAgent展示了LLM驱动智能体简化和赋能科学发现的潜力，使复杂工具对更广泛的受众可及。该系统不仅为专业科研人员提供了强大的自动化工具，也为企事业单位和投资人评估科技项目提供了全新的技术视角。

方法论细节

系统收集科学工具遵循系统性过程，旨在组装全面、特定领域和功能多样化的工具集。首先，我们识别了最能从LLM集成中受益的关键科学领域，包括生物学、化学和材料科学。然后，我们策划了这些领域中频繁使用的工具列表。

这种方法论确保了SciToolAgent能够覆盖广泛的科学应用场景，同时保持高度的专业性和实用性。

总结

SciToolAgent代表了科学研究自动化领域的重大突破。通过巧妙结合知识图谱技术与大语言模型能力，该系统不仅解决了现有工具整合方案的局限性，还为科学研究的民主化开辟了新途径。对于专业人群、企事业单位和科研院所而言，SciToolAgent提供了一个强有力的技术解决方案，有望显著提升研发效率和创新能力。

随着人工智能技术的不断发展，类似SciToolAgent的智能化科学工具将成为推动科技创新和产业升级的重要驱动力。投资人和决策者应密切关注这一技术趋势，把握相关投资和应用机会。