技术栈
文本分割器
余衫马
1 个月前
langchain
·
文本分割器
LangChain 文本分割器深度解析：从原理到落地应用（上）
LangChain 作为大语言模型应用开发框架，文本分割器是其核心组件之一，本文以此作为切入点，详细介绍文本分割的作用、策略、以及常见的文本切割器应用。考虑到篇幅过长，故拆分为上、中、下三篇，后续会在中篇介绍代码拆分与HTML拆分，下篇介绍基于语义拆分与TOKEN拆分。若存在任何内容上的遗漏或错误，恳请不吝赐教。
von Neumann
2 年前
人工智能
·
深度学习
·
自然语言处理
·
langchain
·
文本分割器
自然语言处理从入门到应用——LangChain：索引（Indexes）-[文本分割器（Text Splitters）]
分类目录：《自然语言处理从入门到应用》总目录当我们需要处理长文本时，有必要将文本分割成块。虽然这听起来很简单，但这里存在很多潜在的复杂性。理想情况下，我们希望将语义相关的文本块保持在一起，但什么是"语义相关"可能取决于文本的类型。本文就展示了几种实现这一目标的方法。