知识库有结果,不等于召回率合格

Recall@K 高,说明相关资料较少漏掉;Precision@K 高,说明候选中的干扰较少;MRR 高,说明用户需要的内容通常更早出现。三个指标观察的角度不同,不能用"有返回"代替。

标注集怎样准备

先从客服记录、内部搜索词和业务人员常问的问题中挑选真实查询。样本需要覆盖准确名称、缩写、旧称、同义表达、表格字段、跨段条件和无答案问题。每个问题由熟悉资料的人标出相关文档或片段,同时记录版本与权限范围。

初轮可以从数十条高频问题开始,用于发现切分、查询改写和排序的明显问题。准备对外发布指标时,应扩大样本并安排人工复核,保留知识库版本、检索配置、K 值和评测时间。没有这些条件,两个百分比很难放在一起比较。

无答案问题也要进入测试集。它可以检查检索系统会不会用相似但无关的片段凑答案。权限问题则应分别使用管理员与普通账号执行,确认相关片段不会因权限过滤而消失,也不会越权出现在候选中。

在 ZGI 中怎样分两步检查

第一步使用批量命中测试跑完整组问题,查看空结果、响应时间和每条查询返回的候选。这个阶段适合确认解析、切分、检索配置与权限链路能够正常工作,并定位完全没有候选的问题。

第二步把候选结果与标注集对照,分别计算 Recall@3、Recall@5 或更适合业务上下文长度的 K 值,再查看 Precision@K 和 MRR。正确片段没有出现时,检查资料解析、切分、查询改写、混合检索和过滤条件;正确片段已经出现但位置靠后,再调整重排和候选数量。

最终验收还要回到真实回答。选取检索失败、排序失败和无答案问题,查看模型是否引用了正确片段,回答有没有保留资料中的条件与时间范围。检索指标能缩小故障位置,业务人员对答案的核对仍然需要保留。

GitHub:github.com/zgiai/zgi

Gitee:gitee.com/zgiai/zgi

相关推荐
chh5634 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
TomEval4 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
ZhengEnCi5 小时前
AI 总模仿代码库里的过时写法怎么办:先清坏样例,再用类型与测试让 AI 无法犯错
人工智能·ai编程
一只爱撸猫的程序猿5 小时前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
GitCode官方6 小时前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI6 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP6 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷7 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
罗西的思考7 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
屿华AI7 小时前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具