核心要点
-
RAG本质定位
RAG是证据加工流水线，链路任意环节出错向下游传导；RAG答错不要直接更换Embedding或扩大Top‑K，需要全链路逐段定位，依靠评测集回放改动。调优目标：答案可用性、可追溯、稳定，兼顾延迟与成本。
-
数据治理（优先于检索优化）
- 文档解析：是RAG效果上限；不同文档类型差异化处理，PDF重点处理表格、页眉页脚；解析质量往往比换Embedding更关键。
- Metadata元数据 ：存储source_id、章节路径、页码、时间、租户权限、业务标签；召回前执行元数据过滤，实现权限管控、来源回溯。
- Chunk切块策略
- 不存在万能Token尺寸，按文档类型选择初始参数。
- 语义切分：适合知识库更新少、文档主题混杂的概念查询。
- Parent‑Child Chunk：子块细粒度向量检索，关联父块获取完整上下文，无需盲目放大Top‑K。
- 索引阶段增加语义入口：Chunk摘要、候选问题向量、章节标题向量，提升同义需求召回。
- 召回优化
- Hybrid Search混合检索：向量检索处理语义；BM25处理错误码、SKU、版本号等精确实体；RRF算法融合两路结果。
- Query Rewrite查询改写 ：规范化改写、Multi‑Query、问题分解、Step‑back、HyDE、Self‑Query；原始Query必须参与召回。
- 三级阈值分离：
recall_top_k粗召回(30‑100)、rerank_top_n重排保留(5‑10)、context_top_n最终上下文(3‑6)；禁止盲目扩大Top‑K。
- Rerank重排
- Cross‑Encoder重排判断「片段是否可以回答问题」，不能生成候选池不存在的证据。
- 选型：Cross‑Encoder用于生产主链路；LLM打分适合小流量高价值场景；规则重排处理时间、权限条件；复杂业务使用混合重排。
- 链路位置：元数据预过滤→混合粗召回→去重合并→Rerank→上下文压缩。
- 上下文工程
- 上下文压缩：选择性抽取、查询导向摘要、结构化抽取，降低噪声。
- 上下文排序：高相关证据前置，标注矛盾版本，保留来源信息。
- Prompt约束证据边界：限定基于上下文回答、证据不足拒答；提示词仅做约束，不能强制模型遵守。
- 评估体系
- 最小评估集50‑100条样本，覆盖高频、失败、精确匹配、多跳、拒答场景。
- 指标拆分：检索指标(HitRate@K、MRR、Context Recall、Context Precision)；生成指标(Faithfulness、Answer Relevancy、Citation Accuracy)；工程指标(延迟、成本)。
- LLM‑as‑Judge仅作为辅助信号，需要人工抽样复核；所有改动版本化留存。
-
常见踩坑
只调Embedding、缺少评估、盲目扩大Top‑K、灌入无关上下文、忽略拒答能力。
-
故障排查流程
失败样本分类 → 判断正确证据是否进入候选池 → 证据在候选池但未进入上下文 → 上下文正确但答案错误 → 新增用例做回归测试。
-
落地实施顺序
文档解析&元数据治理 → 实验Chunk策略 → 混合召回 → Query Rewrite → Rerank+上下文编排 → 生成拒答逻辑 → 灰度上线+回归测试。