大语言模型常见的文本切分方式整理汇总

整理

本文整理了一些简单的文本切分方式,适用于大语言模型经典应用RAG或相似场景。

一般切分

如果不借助任何包,很容易想到如下切分方案:

python 复制代码
text = "我是一个名为 ChatGLM3-6B 的人工智能助手,是基于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发的。我的目标是通过回答用户提出的问题来帮助他们解决问题。由于我是一个计算机程序,所以我没有实际的存在,只能通过互联网来与用户交流。"
chunks = []
chunk_size = 128 

for i in range(0, len(text), chunk_size):
    chunk = text[i:i + chunk_size]
    chunks.append(chunk)
chunks
python 复制代码
['我是一个名为 ChatGLM3-6B 的人工智能助手,是基于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发的。我的目标是通过回答用户提出的问题来帮助他们解决问题。由于我是一个计算机程序,所以我没有实际的存在,只能通过互联网',
 '来与用户交流。']

字符切分

使用CharacterTextSplitter,一般的设置参数为:chunk_size、 chunk_overlap、separator和strip_whitespace。

python 复制代码
from langchain.text_splitter import CharacterTextSplitter
text_splitter = CharacterTextSplitter(chunk_size = 35, chunk_overlap=0, separator='', strip_whitespace=False)
text_splitter.create_documents([text])
python 复制代码
[Document(page_content='我是一个名为 ChatGLM3-6B 的人工智能助手,是基于清华大学 '),
 Document(page_content='KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发'),
 Document(page_content='的。我的目标是通过回答用户提出的问题来帮助他们解决问题。由于我是一个计'),
 Document(page_content='算机程序,所以我没有实际的存在,只能通过互联网来与用户交流。')]

递归字符切分

使用RecursiveCharacterTextSplitter,一般的设置参数为:chunk_size、 chunk_overlap。

python 复制代码
from langchain.text_splitter import RecursiveCharacterTextSplitter
text_splitter = RecursiveCharacterTextSplitter(chunk_size = 35, chunk_overlap=0)
text_splitter.create_documents([text])
python 复制代码
[Document(page_content='我是一个名为 ChatGLM3-6B 的人工智能助手,是基于清华大学'),
 Document(page_content='KEG 实验室和智谱 AI 公司于 2023'),
 Document(page_content='年共同训练的语言模型开发的。我的目标是通过回答用户提出的问题来帮助他'),
 Document(page_content='们解决问题。由于我是一个计算机程序,所以我没有实际的存在,只能通过互联'),
 Document(page_content='网来与用户交流。')]

与CharacterTextSplitter不同,RecursiveCharacterTextSplitter不需要设置分隔符,默认的几个分隔符如下:

python 复制代码
"\n\n" - 两个换行符,一般认为是段落分隔符
"\n" - 换行符
" " - 空格
"" - 字符

拆分器首先查找两个换行符(段落分隔符)。一旦段落被分割,它就会查看块的大小,如果块太大,那么它会被下一个分隔符分割。如果块仍然太大,那么它将移动到下一个块上,以此类推。

Mrrkdown切分

除了对普通的文本字符进行切分外,langchain还支持对md、html、py、js等各种特殊文本或代码进行切分。

python 复制代码
# 以下是一段md文本
markdown_text = """
**LangChain-Chatchat** 
基于ChatGLM等大语言模型与Langchain等应用框架实现,开源、可离线部署的检索增强生成(RAG)大模型知识库项目。

## 目录
* 介绍
* 解决的痛点
* 快速上手
* 1. 环境配置
* 2. 模型下载
* 3. 初始化知识库和配置文件
* 4. 一键启动
* 5. 启动界面示例
* 联系我们

## 介绍
一种利用langchain思想实现的基于本地知识库的问答应用,目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。
一行命令运行 Docker :
```shell
docker run -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.7
python 复制代码
from langchain.text_splitter import MarkdownTextSplitter
splitter = MarkdownTextSplitter(chunk_size = 40, chunk_overlap=0)
splitter.create_documents([markdown_text])
python 复制代码
[Document(page_content='**LangChain-Chatchat**'),
 Document(page_content='基于ChatGLM等大语言模型与Langchain等应用框架实现,开源、可离线'),
 Document(page_content='部署的检索增强生成(RAG)大模型知识库项目。'),
 Document(page_content='## 目录\n* 介绍\n* 解决的痛点\n* 快速上手\n* 1. 环境配置'),
 Document(page_content='* 2. 模型下载\n* 3. 初始化知识库和配置文件\n* 4. 一键启动'),
 Document(page_content='* 5. 启动界面示例\n* 联系我们'),
 Document(page_content='## 介绍'),
 Document(page_content='一种利用langchain思想实现的基于本地知识库的问答应用,目标期望建立一套'),
 Document(page_content='对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。'),
 Document(page_content='一行命令运行 Docker :\n```shell'),
 Document(page_content='docker run -d --gpus all -p 80:8501'),
 Document(page_content='registry.cn-beijing.aliyuncs.com/chatch'),
 Document(page_content='at/chatchat:0.2.7'),
 Document(page_content='```')]

Python代码切分

python 复制代码
python_text = """
class Person:
  def __init__(self, name, age):
    self.name = name
    self.age = age

p1 = Person("John", 36)

for i in range(10):
    print (i)
"""

from langchain.text_splitter import PythonCodeTextSplitter
python_splitter = PythonCodeTextSplitter(chunk_size=100, chunk_overlap=0)
python_splitter.create_documents([python_text])
python 复制代码
[Document(page_content='class Person:\n  def __init__(self, name, age):\n    self.name = name\n    self.age = age'),
 Document(page_content='p1 = Person("John", 36)\n\nfor i in range(10):\n    print (i)')]

TODO

以上方法仅按照固定长度和分割符对文本进行切分,但这在很多情况下会导致损失语义。更高级的切分方式有:语义相似度切分和利用大模型Agent切分,后续再补充。

相关推荐
AImatters1 天前
2025 年PT展前瞻:人工智能+如何走进普通人的生活?
人工智能·ai·具身智能·智慧医疗·智慧出行·中国国际信息通信展览会·pt展
AI小书房1 天前
【人工智能通识专栏】第十五讲:视频生成
人工智能
疋瓞1 天前
C++_STL和数据结构《1》_STL、STL_迭代器、c++中的模版、STL_vecto、列表初始化、三个算法、链表
数据结构·c++·算法
JJJJ_iii1 天前
【左程云算法09】栈的入门题目-最小栈
java·开发语言·数据结构·算法·时间复杂度
zzywxc7871 天前
AI工具全景洞察:从智能编码到模型训练的全链路剖析
人工智能·spring·ios·prompt·ai编程
甄心爱学习1 天前
DataSet-深度学习中的常见类
人工智能·深度学习
伟贤AI之路1 天前
【分享】中小学教材课本 PDF 资源获取指南
人工智能·pdf
Bear on Toilet1 天前
继承类模板:函数未在模板定义上下文中声明,只能通过实例化上下文中参数相关的查找找到
开发语言·javascript·c++·算法·继承
aneasystone本尊1 天前
详解 Chat2Graph 的推理机实现
人工智能
金融小师妹1 天前
多因子AI回归揭示通胀-就业背离,黄金价格稳态区间的时序建模
大数据·人工智能·算法