系统性排查框架：
-
数据层检查
- 索引覆盖率：检查文档是否全部正确索引
- 数据新鲜度：确认索引更新频率和延迟
- 文档质量：分析被索引内容的质量和完整性
-
查询理解层
- 分词分析：检查查询分词是否正确
- 意图识别：验证意图分类准确性
- 查询改写：分析改写规则是否合理
-
召回层诊断
- 召回率：测量相关文档被检索的比例
- 检索算法：验证 embedding 质量/倒排索引效果
- 参数调优：调整k值、相似度阈值等参数
-
排序层分析
- 特征分析：检查排序特征的有效性
- 模型评估：通过A/B测试评估不同模型效果
- 错误分析：人工标注bad case进行分析
-
端到端评估
- 制定评估指标：DCG@K、MRR、Precision@K等
- 建立测试集：包含典型查询和预期结果
- 监控面板：实时监控关键指标变化
工具链：
- Elasticsearch：使用Explain API分析评分
- 自定义诊断工具：记录检索全过程日志
- 可视化工具：展示查询-文档相关性矩阵