对于一些知识密集型问题往往需要从多个信息源中提取和整合知识，比如金融，法律等领域。传统 RAG 方法在处理这类知识密集型推理任务时常常力不从心。今天介绍一个来自中科院的新 rag 技术------structRAG[1]，它在这方面获得了很不错的突破。
研究人员借鉴了人类处理复杂推理任务时的方式。人类通常不会不同于简单阅读散乱的原始内容，而是会将这些信息信息汇总成结构化知识，再利用这些结构化信息进行思考推理。
StructRAG 通过以下三个过程模拟这一过程：
-
混合结构路由器（Hybrid structure router）训练
混合结构路由器根据任务需求灵活选择最佳知识结构形式，例如表格、图或算法，确保知识的呈现最大化满足推理需要。例如，当需要比较多家公司的财务数据时，混合结构路由器会优先选择表格这一形式，以便清晰展示数据对比。训练混合结构路由器采用混采用直接偏好优化（DPO）算法，能够不依赖额外的奖励模型实现优良效果。这种方法通过生成高质量的偏好对来确保训练的有效性，结合"合成-模拟-判断"的新颖方法来构建偏好数据。
-
知识结构化
分散知识结构化器（Scattered knowledge structurizer）对知识进行结构化。利用 LLM 将散乱的文本信息转化为结构化知识。经过结构化后，信息的可读性显著提升，为后续推理奠定基础。对文档进行分析时，StructRAG 可以选择不同的知识结构，优化信息呈现方式。
-
问题分解与推理
最后，通过高效利用结构化知识，结构化知识利用器（Structured knowledge utilizer）可以准确分解复杂问题并采取相应的答案推理。这种逐步推导的方法在应对多样化问题时表现出更强的适应能力。例如，处理多层次的问题时，利用器能够分解为多个简单的子问题，使得整体推理更加高效。
在这一过程中，StructRAG 有以下一些技术实现亮点：
-
混合信息结构化：StructRAG 根据不同任务需求灵活选择最优结构类型，避免固定结构类型的局限性。
-
基于 LLM 的知识结构化：充分利用 LLM 的理解和生成能力，构建高质量的结构化知识。
-
科学问题分解与精准知识提取：通过将复杂问题分解为子问题，实现对结构化知识的精确利用，确保最终答案的准确性。
StructRAG 相较于传统 RAG，有以下优点：
-
更好地处理分散信息：通过结构化知识，StructRAG 能够更有效地整合来自多个来源的信息。
-
任务适应性强：能够根据任务特性选择最优的知识结构，极大地提高了处理多种问题的能力。
-
卓越的性能：在知识密集型推理任务中，StructRAG 展现出了压倒性的优势，相比之下更高效。
-
处理速度快：相较于 Graph RAG 等方法，StructRAG 的操作速度显著更快，使其在实时应用场景中具有更大优势。
研究结果表明，StructRAG 在 Loong 基准测试任务中均已取得最先进的性能。随着任务复杂度的增加，其性能优势越发明显。
小结
StructRAG 也不是没有缺点，相比简单的 RAG 方法，StructRAG 的操作复杂度显著提高，需要更多的计算资源。在不同任务中，如果选择了不当的结构可能会导致推理效果下降。在知识结构化过程高度依赖于大规模语言模型的性能，因此其效果与底层模型的能力密切相关。
对于研究团队来讲，如何优化结构选择算法、提升知识结构化的准确性，及探索更多样化的结构类型是将来重点的改进方向。
总的来说，StructRAG 的问世不仅提高了 AI 系统处理复杂推理任务的能力，也为我们理解和模拟人类认知过程提供了新的视角。它在在金融分析、科研文献综述等知识密集型领域的问答类需求提供了新的改进方向，值得感兴趣的朋友深度探索。
参考资料
[1]
structRAG: https://arxiv.org/pdf/2410.08815
在大模型时代，我们如何有效的去学习大模型？
现如今大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。
掌握大模型技术你还能拥有更多可能性：
• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；
• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；
• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；
• 更优质的项目可以为未来创新创业提供基石。
可能大家都想学习AI大模型技术，也_想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习 ，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁， 这里我直接把都打包整理好，希望能够真正帮助到大家_。
👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈
一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，下面是我整理好的一套完整的学习路线，希望能够帮助到你们学习AI大模型。
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
二、640套AI大模型报告合集
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF书籍
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型各大场景实战案例
结语
【一一AGI大模型学习 所有资源获取处（无偿领取）一一】
所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包 》，扫码获取~
👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈
