技术栈

文本分割器

余衫马
10 天前
langchain·文本分割器
LangChain 文本分割器深度解析:从原理到落地应用(上)LangChain 作为大语言模型应用开发框架,文本分割器是其核心组件之一,本文以此作为切入点,详细介绍文本分割的作用、策略、以及常见的文本切割器应用。考虑到篇幅过长,故拆分为上、中、下三篇,后续会在中篇介绍代码拆分与HTML拆分,下篇介绍基于语义拆分与TOKEN拆分。若存在任何内容上的遗漏或错误,恳请不吝赐教。
von Neumann
2 年前
人工智能·深度学习·自然语言处理·langchain·文本分割器
自然语言处理从入门到应用——LangChain:索引(Indexes)-[文本分割器(Text Splitters)]分类目录:《自然语言处理从入门到应用》总目录当我们需要处理长文本时,有必要将文本分割成块。虽然这听起来很简单,但这里存在很多潜在的复杂性。理想情况下,我们希望将语义相关的文本块保持在一起,但什么是"语义相关"可能取决于文本的类型。本文就展示了几种实现这一目标的方法。