一 RAG与文本分块
1.1 为什么要文档分块
我们知道，大模型在预训练阶段获取的知识是有限的，一般需要数据增强模块引入外部知识库，通过知识检索的方式搜索于用户提问相关的知识，这也是RAG相关应用架构出现的原因。但这又引申出另一个问题，外部知识文档往往比较长，可能是包含几十页甚至数百页的内容，如果直接使用会存在以下问题
-
1.大模型处理的上下文长度有限：大模型在预训练过程都有上下文长度限制，如果超过长度限制大模型会将超出部分丢弃，从而影响回答的性能表现。（注：目前很多大模型已经支持192K甚至更大的超长上下文窗口+搜索增强知识库，但基于成本和性能考虑，大文档分chunk依然是RAG方案必须包含的环节）。
-
2.语义杂揉不利于任务检索：长文档中各个片段的语义之间可能存在较大的差异，如果当成一个整体来做知识检索会存在语义的杂揉，应当将长文档切分成更多的小块，促使每个小块内部表意一致，块之间表意存在多样性，从而更充分的发挥知识检索的作用
所以我们需要根据一定策略将文本切分为小块，以便适应大模型的上下文窗口 ，同时提高知识检索的精度。
1.2 分块的目标
文本分块不是盲目的切分，而是必须在不影响或尽量降低对整体效果影响的前提下进行。所以文本分块（chunk）**最核心的目的就是把相同语义的token聚集在一起，不同语义的token互相分开，利于后续的retrieve和rerank。**举个例子：我们有一个word文档，分为多个段落，每个段落都是一个问题的问答对。那么显然把一个问答对作为一个chunk划分是最理想的结果。
二 常用的文本分块技术方案
常见chunk方案有按照字符chunk、按token、按段落、递归划分、语义划分、代理划分等。Langchain作为一个 LLM 协调框架，内置了一些用于分块以及加载文档的工具，提供了很多可以开箱即用的chunk方法：
CharacterTextSplitter
RecursiveCharacterTextSplitter
Split by tokens
Semantic Chunking
HTMLHeaderTextSplitter
MarkdownHeaderTextSplitter
RecursiveJsonSplitter
Split Cod
由于相关的代码解说文章已经很多，这里不再赘述，只以RecursiveCharacterTextSplitter、SentenceSplitter和HTMLHeaderTextSplitter为例：
2.1 RecursiveCharacterTextSplitter
基于字符数来递归地分割文本。每个块都保持在指定的长度以下，这对于具有自然段落或句子间断的文档特别有用，确保了块的可管理性和易于处理性，而不会丢失文档的固有结构。
Langchain中的递归字符文本分割器方法根据字符数将文本分割成块，以确保每个块低于指定的长度。这种方法有助于保持文档中段落或句子的自然断开。
2.2 SentenceSplitter
SentenceSplitter是在句子边界上分割文本，这种方法能够保持文本的上下文完整性。句子通常代表完整的思想，这使得这种方法非常适合那些对内容有连贯理解的场景。
2.3 HTMLHeaderTextSplitter
HTMLHeaderTextSplitter是一个网页代码分块器，它根据 HTML 元素拆分文本，并将相关元数据分配给分块内的每个标头。它可以返回单个分块或将具有相同元数据的元素组合在一起，以保持语义分组并保留文档的结构上下文。此拆分器可与分块管道中的其他文本拆分器结合使用。
三 自实现的文本chunk方法
尽管LangChain和llamaIndex都已经提供了文本Chunk方法，但不幸的是这两者提取语义embedding用的都是openAI的接口，要收费不说，大陆地区还面临被封API的风险，更关键的是在很多企业内根本不允许使用。所以我们只能参考LangChain中各方法的实现原理，自行开发和调试文本chunk方法。
四 从文档角度出发的RAG技术方案
从文档角度出发，RAG流程中的各个主要环节如下：
关键概念说明：
RAPTOR：RAPTOR模型提出了一种创新的策略。它通过递归地进行文本片段的 向量化**、聚类和摘要生成，构建了一个树状索引结构** 这种结构不仅捕捉了文档的高层次主题，还保留了低层次的细节，允许基于语义相似性而非仅仅是文本顺序对节点进行分组。这样的树状结构使得RAPTOR能够在不同的抽象层次上加载文档的上下文片段，从而有效地回答不同层次的问题。
GraphRAG：2024年4月微软推出GraphRAG，并于7月2日开源。GraphRAG仍然沿袭了RAG的思路，即通过检索来增强模型的准确性。不过，与RAG不同的是，GraphRAG还引入了"知识图谱"(Knowledge Graph)技术，以增强模型的"检索"能力，以实现对复杂信息的高效和可靠检索，从而提高LLM问答系统对于复杂信息的答案生成的准确性。GraphRAG示意图如下：
如何学习AI大模型？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 "AI会取代那些行业？""谁的饭碗又将不保了？"等问题热议不断。
不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！
想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。
但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高
那么针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码 领取🆓**↓↓↓**
👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈
学习路线
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
