RAG核心学习总结:文本分块

RAG核心学习总结:文本分块(Chunking)

学习RAG技术时,文本分块(Chunking)是数据准备阶段的关键,其质量直接决定检索精度,却常被忽视。结合学习实践,本文精简总结分块的核心知识,帮大家快速掌握从原理到落地的关键要点。

一、为什么必须做文本分块?

直接将整篇文档丢给大模型不可行,核心原因有两个:

1. 上下文窗口限制

大模型单次处理文本长度有限(主流128k-1M token),一份200页的知识库易超出上限,导致文本截断、费用飙升或响应延迟。

2. 检索精度不足

整份文档信息噪音多,用户精准提问(如"生鲜能否七天无理由退货")时,大模型易找错重点。RAG核心是"先检索再生成",分块就是将文档切成可精准检索的小单元。

二、分块核心认知与关键参数

分块位于文本提取(如Apache Tika)与向量化之间,核心是将长文本切成大小合适、语义完整的Chunk,关键参数有两个:

1. chunkSize(块大小)

指每个分块的长度上限(单位:字符/ token),核心是权衡精度与完整性:

  • 过大:易混入无关内容,检索精度下降;
  • 过小:易切断语义,丢失上下文。

经验参考:2001000字符,问答场景偏小(200500),摘要场景偏大(500~1000)。

2. overlap(重叠量)

相邻分块的共享文本长度,用于避免边界语义断裂,通常设为chunkSize的10%~25%,过大会增加存储成本。

三、5种主流分块策略

策略类型 核心原理 优缺点 适用场景
固定大小分块 按固定字符数硬切,不考虑语义 优点:简单高效;缺点:易切断语义 日志、纯数据文本,或兜底方案
重叠分块 固定分块基础上,保留相邻块重叠区域 优点:缓解边界断裂;缺点:增加存储成本 通用入门场景
递归分块 按分隔符优先级(段落→换行→句号等)逐层切割 优点:兼顾语义与大小;缺点:依赖分隔符 绝大多数场景(知识库、产品手册)
语义分块 用Embedding/LLM判断语义相似度,话题切换处切割 优点:精度最高;缺点:成本高、有延迟 法律、医疗等高精度需求场景
混合分块 组合多种策略,按需适配不同文档 优点:效果最优;缺点:实现复杂 企业级复杂知识库

总结

分块是RAG的基础,5种策略各有定位:递归分块是多数场景的默认选择,语义分块适用于高精度需求,混合分块适配企业级场景。参数需结合文档类型微调,核心是平衡"块大小"与"语义完整性",为后续向量化和检索打好基础。

相关推荐
字节跳动视频云技术团队24 分钟前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术1 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream2 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴2 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
火山引擎开发者社区2 小时前
豆包工作,3 个月,800 万,20 亿
人工智能
Chuck.li2 小时前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作
aleimu3 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
SwanArc技术笔记3 小时前
读技术文档,先用哪个 AI?模型指南筛选与 GPT-6.2 Astra 实操
人工智能
深海鱼在掘金3 小时前
深入浅出RAG——第21章:回顾与展望
人工智能
羲云网络3 小时前
GPT Image 2.6 GIF 交付排障:上线后为什么只剩第一帧?
图像处理·人工智能·前端开发·gif