技术栈
文本切块
智码看视界
3 天前
pdf
·
pdfbox
·
预处理
·
rag
·
文档解析
·
tika
·
文本切块
Day72-文档预处理实战：PDF解析 + 文本切块的正确姿势
RAG 的回答质量，80% 不取决于模型，而取决于喂给模型的上下文干不干净。检索阶段确实能命中相关文档，但如果进 LLM 的 Chunk 是"目录 + 正文 + 页眉页脚 + 水印"的混合体，模型再强也会答非所问。
过客774
3 个月前
文本切块
【无标题】
适用场景:RAG 系统中的 Chunking 阶段。切分质量直接决定召回率与生成质量。按预设的固定长度(如 500 token)对文本进行硬切,不考虑语义边界。最简单的切分方式。
我是有底线的