系列上一篇:从零搭一个 RAG 知识库(一):不用 LangChain,约 60 行手写全链路 + 分块策略
更早两篇:NumPy 入门实战(一):环境搭建与数组核心操作、NumPy 入门实战(二):向量化与余弦相似度------从 ndarray 到 Embedding
运行环境:
pip install sentence-transformers(模型约 100MB,首次运行自动下载,之后完全离线;但 PyTorch 等依赖通常数百 MB 到 1GB 以上,安装前预留磁盘空间);本篇不调用 LLM,不需要 API Key(纯本地 Embedding)。代码依赖:本文沿用上一篇的
KB_SECTIONS与hash_embed;若单独复现,请先取上一篇的 8 块知识库与 Hash 实现,或替换为你自己的语料。
目录
[一、Embedding 模型:从「字面匹配」到「语义表示」](#一、Embedding 模型:从「字面匹配」到「语义表示」)
[1.1 Hash 与语义模型的分工](#1.1 Hash 与语义模型的分工)
[1.2 选型:云端 API 与本地模型](#1.2 选型:云端 API 与本地模型)
[二、跑通 BGE:最小代码与两个工程细节](#二、跑通 BGE:最小代码与两个工程细节)
[2.1 最小调用](#2.1 最小调用)
[2.2 工程细节一:模型缓存目录迁移](#2.2 工程细节一:模型缓存目录迁移)
[2.3 工程细节二:BGE 的两个使用细节](#2.3 工程细节二:BGE 的两个使用细节)
[2.4 实验用的公共函数](#2.4 实验用的公共函数)
[4.1 观察1:Hash 的实际表现比预判更差------不是兜底,而是错答](#4.1 观察1:Hash 的实际表现比预判更差——不是兜底,而是错答)
[4.2 观察2:BGE 的换说法检索符合预期](#4.2 观察2:BGE 的换说法检索符合预期)
[4.3 观察3:旧阈值 0.15 在 BGE 上完全失效------且方向与直觉相反](#4.3 观察3:旧阈值 0.15 在 BGE 上完全失效——且方向与直觉相反)
[5.1 为什么阈值必须重标:分数分布整体位移](#5.1 为什么阈值必须重标:分数分布整体位移)
[5.2 标定方法:与上一篇一致,数据来自 BGE](#5.2 标定方法:与上一篇一致,数据来自 BGE)
[5.3 自洽性检查:9/9(不是留出验证)](#5.3 自洽性检查:9/9(不是留出验证))
[5.4 实验A2:负样本基线------0.54 的余量没有想象中大](#5.4 实验A2:负样本基线——0.54 的余量没有想象中大)
[5.5 实验D:top1-top2 margin------有区分趋势,但边界重叠](#5.5 实验D:top1-top2 margin——有区分趋势,但边界重叠)
前言:上一篇遗留的两个问题
上一篇用约 60 行代码跑通 RAG 链路后,遗留了两个问题:
- Hash 伪 Embedding 只匹配字面。查询「在魔都出差住酒店报销上限」时,知识库中只有「上海」「住宿」,Hash 无法建立对应关系。上一篇预判该查询会触发兜底;本篇重新执行该查询,观察实际结果------实测结果与预判不同,且更值得警惕。
- 阈值 0.15 仅适用于 Hash 通道。上一篇的踩坑记录指出:每次替换 Embedding 模型,都需要用对应模型的评估集重新标定阈值。当时未展开,本篇专门验证:将 0.15 直接用于新模型会发生什么。
本篇的目标只有一个:将 Embedding 从 Hash 伪向量替换为本地语义模型 BGE ,并用实验数据回答上述两个问题。与上一篇仅依赖 numpy 不同,本次需要安装 sentence-transformers 并下载约 100MB 的模型权重;这是从「流程演示」走向「可用检索」的必要一步。模型在本地运行,首次下载后可完全离线,不产生 API 费用。
结构安排:第一、二节说明 Embedding 模型的基本原理、选型与运行方式;第三、四、五节是三个递进实验(实验A 语义泛化 → 实验B 换说法检索 → 实验C 阈值重校准,编号与实验输出一一对应),数据均来自本机实际运行;第六、七节为踩坑记录与面试高频问题,最后总结并预告后续内容。
一、Embedding 模型:从「字面匹配」到「语义表示」
1.1 Hash 与语义模型的分工
Hash 伪 Embedding 将 token 哈希到固定维度,只保留字面重叠,不包含语义信号;语义模型(BGE 这类基于 Transformer 编码器的模型)通过对比学习,将语义相近的句子在向量空间中拉近、将不相近的推远。两者的对比实验已在 NumPy(二) 第四节完成,本文不再重复,直接沿用结论:Hash 只能提供字面排序,语义泛化必须依赖真模型。
1.2 选型:云端 API 与本地模型
|------------------|-------------------------------|--------------|------------|----|---------------|
| 方案 | 代表 | 质量 | 成本 | 离线 | 适合场景 |
| 云端 API | DashScope text-embedding-v3 等 | 通常更好(大模型) | 按 token 计费 | ❌ | 生产环境、对质量要求高 |
| 本地开源 | BGE(bge-small/base/large-zh) | 好(满足教学与中小项目) | 免费 | ✅ | 学习、内网部署、数据不出域 |
| Hash 伪 Embedding | 上一篇的实现 | 差(仅匹配字面) | 免费 | ✅ | 仅为跑通流程的降级方案 |
本文选用 bge-small-zh-v1.5:北京智源(BAAI)开源的中文 Embedding 模型,输出 512 维向量,权重约 100MB,可在 CPU 上运行,中文效果良好,在中文 RAG 项目中使用广泛。
补充 :Hash 为 256 维、BGE 为 512 维,维度不同是否影响比较?不影响。余弦相似度只在同一模型产出的向量之间计算------每个模型自成一套空间,各自归一化后比较才有意义。跨模型计算向量相似度没有意义(NumPy(二) 已说明:归一化后只看方向)。
二、跑通 BGE:最小代码与两个工程细节
2.1 最小调用
安装后加载模型并编码即可,核心只有三行;normalize_embeddings=True 的作用已在 NumPy(二) 说明,此处直接沿用。
python
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("BAAI/bge-small-zh-v1.5") # 首次运行自动下载(约100MB),之后走本地缓存
vecs = model.encode(["我要退货", "我想申请退款"],
normalize_embeddings=True) # 归一化:之后点积 = 余弦
print(float(vecs[0] @ vecs[1])) # 两句的余弦相似度
2.2 工程细节一:模型缓存目录迁移
首次运行时,HuggingFace 默认将模型权重下载到 C:\Users\你\.cache\huggingface。100MB 尚可接受,但后续使用数 GB 的模型时,系统盘空间会快速耗尽。本项目通过统一配置模块在 import 时设置环境变量:
python
import os
os.environ["HF_HOME"] = "D:/ai_project_cache/huggingface" # 权重缓存落 D 盘
# 实际项目可在统一配置模块中设置,把 HF/Chroma/pip 缓存全部重定向到该目录
补充 :换机器复现时,将环境变量
AI_PROJECT_CACHE_DIR指向本地缓存盘即可,代码无需修改。这是在一次系统盘写满后确定的工程约束。
2.3 工程细节二:BGE 的两个使用细节
python
# 细节①:normalize_embeddings=True。不开的话拿到的是原始模长向量,
# 点积 ≠ 余弦,分数区间会漂移------阈值又要重标一遍(连锁坑,见踩坑4)
# 细节②:检索场景(短查询 → 长文档)下,模型卡建议 query 侧加指令前缀,文档侧不加。
# BGE v1.5 已专门增强「无指令」检索,加不加只差一点;以你自己任务的实测为准
# (bge-small 实测:加前缀分数略低、排序不变)。文档侧任何时候都不加。
BGE_QUERY_PREFIX = "为这个句子生成表示以用于检索相关文章:"
def make_bge_embedder(model_name="BAAI/bge-small-zh-v1.5"):
model = SentenceTransformer(model_name)
def embed(texts, is_query=False):
if is_query:
texts = [BGE_QUERY_PREFIX + t for t in texts] # 只有 query 侧加前缀
return model.encode(texts, normalize_embeddings=True)
return embed
bge = make_bge_embedder() # 后续实验统一用 bge(...)
2.1 的 model 是最小示例;工程代码用上面的工厂函数封装,模型只加载一次,后续实验统一调用 bge(...)。
成对计算相似度(实验A)时不加前缀;检索类实验(实验A2、B、C、D)仅在 query 侧添加,文档侧不加。本文检索类实验统一加前缀,阈值也只在该设置下成立,踩坑 1 给出了实测对比;也可将前缀置空后重跑,观察分数变化。
另外,工程上通常将 Embedding 通道抽象为统一接口:上层代码只调用 embed(texts),底层可在三种实现间切换------云端 API、本地 BGE、离线 Hash;选型时按「有 Key 用云端 → 有本地模型用 BGE → 均不可用则降级 Hash」的顺序自动降级。对 Java 开发者而言,这是典型的策略模式 + 优雅降级:上层 RAG 链路不应感知具体的 Embedding 实现。
2.4 实验用的公共函数
后续五组实验共用 search 与两个通道的文档向量;Hash 实现和 8 块知识库沿用上一篇,此处只列本篇新增的代码。为控制篇幅,各段代码只保留核心逻辑,省略了终端对齐与逐条打印;每节的输出块仍是完整运行结果
python
import numpy as np
# chunks: 8 块 (id, 标题, 正文),由上一篇的 KB_SECTIONS 切分而来
chunks = [(f"chunk_{i}", t, x) for i, (t, x) in enumerate(KB_SECTIONS)]
titles = [t for _, t, _ in chunks]
def search(query, chunks, doc_vecs, embed_fn, top_k=3, is_query=True):
q_vec = embed_fn([query], is_query=is_query)[0]
sims = doc_vecs @ q_vec # 归一化后点积 = 余弦
order = np.argsort(sims)[::-1][:top_k]
return [(chunks[i][1], float(sims[i])) for i in order]
# 入库时各算一次;查询阶段不再重算
hash_doc_vecs = np.vstack([hash_embed(f"{t} {x}") for _, t, x in chunks])
bge_doc_vecs = np.vstack(bge([f"{t} {x}" for _, t, x in chunks]))
三、实验A:语义泛化与失效边界
实验A 不再重复 NumPy(二) 的同义句对与字面干扰句对,直接测试 BGE 的能力边界:同义地名(预期通过)、否定句、数字边界、近义术语、反义方向(预期失败)。五个句对在两个通道下各计算一次成对相似度:
python
pairs = [
("同义地名(魔都=上海)", "去上海出差住宿标准是多少", "在魔都出差住酒店报销上限是多少"),
("否定句(一字之差)", "年假可以结转到明年6月", "年假不能结转到明年6月"),
("数字边界(3年 vs 5年)", "入职满3年年假5天", "入职满5年年假10天"),
("近义术语(试用 vs 实习)", "试用期可以休年假吗", "实习期可以休年假吗"),
("反义方向(上限 vs 下限)", "出差住宿报销上限是多少", "出差住宿报销下限是多少"),
]
for name, a, b in pairs:
hv = hash_embed(a) @ hash_embed(b) # Hash:归一化后点积=余弦
va, vb = bge([a, b]) # 成对相似度:不加 query 前缀
print(f"{name}: Hash={hv:.4f} BGE={float(va @ vb):.4f}")
输出结果:
python
== 实验A:语义泛化与失效边界(同义/否定/数字/术语的成对相似度)==
同义地名(魔都=上海) 「去上海出差住宿标准是多少」vs「在魔都出差住酒店报销上限是多少」
Hash = 0.4259 BGE = 0.6951
否定句(一字之差) 「年假可以结转到明年6月」vs「年假不能结转到明年6月」
Hash = 0.7509 BGE = 0.9419
数字边界(3年 vs 5年) 「入职满3年年假5天」vs「入职满5年年假10天」
Hash = 0.9333 BGE = 0.9449
近义术语(试用 vs 实习) 「试用期可以休年假吗」vs「实习期可以休年假吗」
Hash = 0.7333 BGE = 0.8774
反义方向(上限 vs 下限) 「出差住宿报销上限是多少」vs「出差住宿报销下限是多少」
Hash = 0.8571 BGE = 0.9862

结果分为两类:
- 同义改写通过:「魔都」句对 BGE 0.6951,Hash 0.4259。语义模型确实把两种说法放到了相近位置;实际检索效果在实验B验证。
- 关键限定词失败:否定句 0.9419、数字边界 0.9449、近义术语 0.8774、反义方向 0.9862------四组语义相反或关键限定不同的句子,BGE 给出的分数与同义句同级,甚至更高。
说明:实验A 是成对相似度,且不加 query 前缀;实验B 是 query-doc 检索,query 侧加前缀。两组分数不是同一设置下的结果,不能直接比较绝对高低;例如「魔都」在实验A 为 0.6951,在实验B 的 top1 为 0.637。
这说明 BGE 衡量的是主题相关性 ,而非答案正确性。「年假可以结转」与「年假不能结转」主题完全一致,向量自然接近;但 RAG 需要的是后者,而不是前者。否定、数字、近义术语、反义方向,都是纯向量检索的硬边界。该结论直接决定了后续三件事:混合检索(BM25 补字面与否定)、Rerank(交叉编码器精排)、query 改写;单靠更换更大的 Embedding 无法根治。
对应到工程,三类失效需要分别处理:
- 否定句:靠 query 改写把「不能」显式化,或让 BM25 对否定词加权;纯向量模型很难区分。
- 数字 / 日期 / 金额:优先走结构化过滤(metadata 范围查询),或把关键数字保留在块标题与元数据中,不要让向量独自承担。
- 近义术语:用领域词典、同义词扩展或领域微调;通用模型只能保证「主题接近」。
共同点是:不要把「语义相似」当成「答案正确」,关键限定条件必须由检索之外的手段保证。
四、实验B:换说法检索------上一篇失败案例的复现
知识库(8 块《员工手册》)、Hash 实现、阈值均与上一篇一致(与上一篇复用同一份代码),问题集扩到 9 条:6 条库内(2 条与上一篇同款原题 + 4 条换说法,其中「魔都」一条即上一篇 4.3 节的失败查询)+ 3 条库外(2 条沿用上一篇,新增 1 条「年会节目单」------与「考勤/年假」存在字面重叠,用于检验阈值的边界)。双通道各检索一遍:
python
IN_QUERIES = [
"入职满三年的年假有几天?", "去上海出差住宿标准是多少?",
"工作满五年能休几天年假", "在魔都出差住酒店报销上限是多少",
"请病假要开什么证明,工资怎么发", "笔记本电脑坏了多久能换新",
]
OUT_QUERIES = [
"公司股票代码是什么?", "老板喜欢喝什么咖啡?",
"年会节目单什么时候公布?",
]
hash_embed_fn = lambda texts, is_query=False: [hash_embed(t) for t in texts]
results = {}
for q in IN_QUERIES + OUT_QUERIES:
h_title, h_sim = search(q, chunks, hash_doc_vecs, hash_embed_fn)[0]
b_title, b_sim = search(q, chunks, bge_doc_vecs, bge)[0]
results[q] = {"hash": (h_title, h_sim), "bge": (b_title, b_sim)}
print(f"{q}: Hash={h_title} {h_sim:.3f} BGE={b_title} {b_sim:.3f}")
输出结果:

python
== 实验B:9 条问题双通道检索对照(阈值 0.15 是(一)Hash 通道的校准值)==
问题 Hash top1 BGE top1
入职满三年的年假有几天? 年假制度 0.533 年假制度 0.698
去上海出差住宿标准是多少? 差旅标准 0.284 差旅标准 0.631
工作满五年能休几天年假 年假制度 0.495 年假制度 0.692
在魔都出差住酒店报销上限是多少 报销流程 0.262 差旅标准 0.637
请病假要开什么证明,工资怎么发 病假与证明 0.423 病假与证明 0.778
笔记本电脑坏了多久能换新 办公设备 0.217 办公设备 0.678
公司股票代码是什么? 病假与证明 0.083 信息安全 0.359
老板喜欢喝什么咖啡? 报销流程 0.046 入职与试用期 0.238
年会节目单什么时候公布? 年假制度 0.220 年假制度 0.440
→ 观察1:「魔都」查询 Hash 命中的是《报销流程》0.262------字面干扰导致「错答」(比兜底更危险)
→ 观察2:BGE 对换说法查询全部命中正确块(0.631~0.778),语义泛化得到验证
→ 观察3:库外问题 BGE 分数 0.238~0.440,全部高于旧阈值 0.15------旧阈值下库外问题将全部通过阈值
输出最后三行是程序自动给出的观察结论,下面逐条展开。
4.1 观察1:Hash 的实际表现比预判更差------不是兜底,而是错答
上一篇 4.3 节预判「魔都」查询「大概率直接掉到兜底」。实测结果比预判更值得警惕:Hash 命中《报销流程》0.262 ------因为「报销」「多少」等字面匹配,且 0.262 超过了 0.15 的阈值。即链路不会触发兜底,而是以《报销流程》的正文作为上下文,回答用户关于住宿标准的问题。
这是 RAG 中比「不答」更危险的失败模式:错答 。兜底至少告知用户「未找到」,错答则让用户把错误制度当作事实。该现象说明:无答案阈值只能拦截「分数低」的查询,拦不住「字面撞车」的查询------阈值只能调整松紧,无法纠正错误的召回块;提高召回精度需要依靠混合检索 + Rerank,而不是继续调整阈值。
4.2 观察2:BGE 的换说法检索符合预期
6 条库内问题 BGE 全部命中正确块,分数 0.631~0.778。「魔都」查询从 Hash 的错答《报销流程》变为命中《差旅标准》0.637,验证了上一篇「字面匹配的根因是缺少语义模型,解法是更换 Embedding 模型」的判断。
另一个值得注意的细节:BGE 的分数不呈现 Hash 那种「字面匹配越多分数越高」的模式,其分数带更窄也更稳定(库内问题都集中在 0.63~0.78)。这是语义模型的普遍特征:分数难以区分「完全同义」与「高度相关」,但能够区分「相关」与「不相关」。该特征直接引出下一节的问题。
4.3 观察3:旧阈值 0.15 在 BGE 上完全失效------且方向与直觉相反
库外三条的 BGE 分数为 0.359、0.238、0.440------全部高于 0.15。也就是说,若沿用上一篇的阈值,三条库外问题都会被判定为「相关」并喂给模型;模型基于不相关资料强行作答,编造风险随之上升。上一篇的兜底闸门在 BGE 通道上没有任何拦截效果。
补充 :还有一个细节------新增的库外问题「年会节目单什么时候公布」,同样没有被 Hash 自身的 0.15 拦住(0.220 > 0.15)。上一篇的阈值仅用 2 条库外问题标定,评估集覆盖不足,新增一类干扰问题即被击穿。阈值的可信度取决于评估集的覆盖度------该问题在踩坑 5 展开,也是 RAG 评估篇要正面解决的问题。
五、实验C:阈值重校准------替换模型后的必要步骤
5.1 为什么阈值必须重标:分数分布整体位移
两个通道的分数区间对照如下:
|-------------|----------------|----------------|
| 通道 | 库内 top1 分数区间 | 库外 top1 分数区间 |
| Hash(256 维) | 0.217 ~ 0.533 | 0.046 ~ 0.220 |
| BGE(512 维) | 0.631 ~ 0.778 | 0.238 ~ 0.440 |
BGE 对「老板喝什么咖啡」也能给出 0.238------语义模型倾向于给所有句子一个不低的基础分(任意两段文本之间都存在微弱关联),真正拉开差距的是 0.44 以上的区间(但 5.4 节的负样本基线和 5.5 节的 margin 会说明,这个边界并不稳固)。BGE 的分数集中在 0.6~0.8,也不表示模型「更自信」:对比学习只要求正样本相对负样本更近,不要求绝对分数校准;同一模型换数据集,分数带同样会漂移。每个 Embedding 模型都有自己的分数分布,阈值是「模型 + 评估集」的函数,替换其中任何一个都必须重新标定。这就是上一篇踩坑记录中「阈值是 Hash 通道专属」这句话的完整含义。
5.2 标定方法:与上一篇一致,数据来自 BGE
方法与上一篇标定 0.15 时完全相同:取库内最低分与库外最高分的中间值,两边留余量。
python
in_scores = [results[q]["bge"][1] for q in IN_QUERIES]
out_scores = [results[q]["bge"][1] for q in OUT_QUERIES]
threshold = round((min(in_scores) + max(out_scores)) / 2, 2)
old_leak = sum(s >= 0.15 for s in out_scores)
print(f"库内最低 = {min(in_scores):.3f}")
print(f"库外最高 = {max(out_scores):.3f}")
print(f"旧阈值 0.15 下库外误判 {old_leak}/{len(out_scores)} 条")
print(f"新阈值 = {threshold}")
输出结果:

python
== 实验C:阈值重校准(替换 Embedding 后,上一篇的 0.15 不再适用)==
BGE 库内 top1 分数:[0.698, 0.631, 0.692, 0.637, 0.778, 0.678] 最低 = 0.631
BGE 库外 top1 分数:[0.359, 0.238, 0.44] 最高 = 0.440
⚠ 若沿用旧阈值 0.15:库外 3 条里有 3 条被误判为『相关』→ 送入模型,编造风险上升
新阈值标定:库内最低 0.631 与库外最高 0.440 取中间 → 0.54
新阈值 0.54:库内最低 0.631 在它之上留了 0.09 余量(换说法的问题不至于误兜底),库外最高 0.440 在它之下留了 0.10 余量。但这个余量只对当前 3 条库外 top1 成立;5.4 换成 30 对负样本后,余量并不稳固。
方法说明:这是自洽性检查,不是留出验证。这 9 条问题既用于标定阈值、又用于下面的 9/9 验证,所以 9/9 只能说明「规则在这批数据上自洽」,不能说明泛化到新问题也成立。真实评估必须把标定集和验证集分开;后续会把评估集扩到 50 条(30 库内 + 20 库外)并留出验证集,结果放在评估篇。因此 0.54 不能直接作为生产参数使用。
5.3 自洽性检查:9/9(不是留出验证)
python
EXPECTED = {
"入职满三年的年假有几天?": "年假制度",
"去上海出差住宿标准是多少?": "差旅标准",
"工作满五年能休几天年假": "年假制度",
"在魔都出差住酒店报销上限是多少": "差旅标准",
"请病假要开什么证明,工资怎么发": "病假与证明",
"笔记本电脑坏了多久能换新": "办公设备",
}
ok = 0
for q in IN_QUERIES:
title, sim = results[q]["bge"]
ok += int(sim >= threshold and title == EXPECTED[q])
for q in OUT_QUERIES:
_, sim = results[q]["bge"]
ok += int(sim < threshold)
print(f"判定准确率: {ok}/{len(IN_QUERIES) + len(OUT_QUERIES)}")

python
== 用新阈值 0.54 做自洽性检查(同一批数据,不是留出验证)==
✅ 库内「入职满三年的年假有几天?」→ 命中《年假制度》0.698 → 回答
✅ 库内「去上海出差住宿标准是多少?」→ 命中《差旅标准》0.631 → 回答
✅ 库内「工作满五年能休几天年假」→ 命中《年假制度》0.692 → 回答
✅ 库内「在魔都出差住酒店报销上限是多少」→ 命中《差旅标准》0.637 → 回答
✅ 库内「请病假要开什么证明,工资怎么发」→ 命中《病假与证明》0.778 → 回答
✅ 库内「笔记本电脑坏了多久能换新」→ 命中《办公设备》0.678 → 回答
✅ 库外「公司股票代码是什么?」→ 最高分 0.359 < 0.54 → 兜底(不喂模型)
✅ 库外「老板喜欢喝什么咖啡?」→ 最高分 0.238 < 0.54 → 兜底(不喂模型)
✅ 库外「年会节目单什么时候公布?」→ 最高分 0.440 < 0.54 → 兜底(不喂模型)
判定准确率:9/9
6 条库内全部命中正确块并回答,3 条库外全部触发兜底,在同一评估集上的判定准确率 9/9 。注意这是自洽性检查,不是泛化验证(标定和验证用了同一批数据,见上面的方法说明);5.4 会进一步说明,top1 自洽不等于 top-k 上下文干净。换模型后的标准闭环是:换 Embedding → 重跑评估集 → 重标阈值 → 用独立的验证集检查。以后每一次换 Embedding 模型(升级 bge-base、换云端 API),这一套动作都要重做一遍。
补充:生产环境不要直接复用该标定方法。9 条问题的评估集规模下,取「极值中间」尚可;真实系统的评估集大得多,且极值对样本非常敏感(单条边缘样本即可击穿阈值)。生产做法是对分数分布取分位数(例如库外分数的 95 分位),并持续用线上 badcase 回流补充评估集。方法论不变,变的是数据规模和统计手段------RAG 评估篇会专门展开。
5.4 实验A2:负样本基线------0.54 的余量没有想象中大
5.2 的 0.54 只用了 9 条问题的 top1 标定,负样本只有 3 条库外问题。为检验这个阈值的稳定性,构造 30 对负样本:6 条库内问题各取「最相近的错块」(正确块之外的最高分),3 条库外问题各取全部 8 块。这样既有库内 hard negative,也有库外干扰。
python
all_queries = IN_QUERIES + OUT_QUERIES
q_vecs = bge(all_queries, is_query=True) # 检索场景:query 侧加前缀
sims = bge_doc_vecs @ q_vecs.T # (8 块, 9 问题)
neg = []
for i, q in enumerate(IN_QUERIES):
correct_idx = titles.index(EXPECTED[q])
neg.append(float(np.delete(sims[:, i], correct_idx).max())) # 最相近的错块
for i in range(len(IN_QUERIES), len(all_queries)):
neg.extend(float(x) for x in sims[:, i]) # 库外:8 块全是负样本
neg = np.array(neg)
print(f"负样本 {len(neg)} 对: 均值={neg.mean():.3f} 标准差={neg.std():.3f} "
f"范围=[{neg.min():.3f}, {neg.max():.3f}] 95分位={np.percentile(neg, 95):.3f}")
输出结果:

python
== 实验A2:负样本基线(30 对:库内×最相近错块 + 库外×全部块)==
负样本 BGE 分数:均值 0.314 标准差 0.124 范围 [0.161, 0.592] 95 分位 0.555
对照:库内正确块 6 条分数范围 [0.631, 0.778]
结果需要分两层看:
- 对 top1 判定,0.54 仍然成立:3 条库外问题的 top1 是 0.359 / 0.238 / 0.440,都低于 0.54;6 条库内问题的 top1 是正确块,均高于 0.54。5.3 的 9/9 在这个意义上没有错。
- 对 top-k 上下文,0.54 不够:负样本最高 0.592、95 分位 0.555,都高于 0.54。本系列链路默认取 top-3 作为上下文,而阈值只检查 top1,因此这些高分错块仍会进入模型。阈值决定「答不答」,不能保证「上下文干净」。
这说明两件事:一是评估集必须包含 hard negative(正确块之外的相近错块),只用 3 条库外 top1 会高估阈值的安全边际;二是提高上下文精度要靠 Rerank / 混合检索,不能继续在阈值上调整。0.54 是教学阈值,不是生产参数。
若按负样本 95 分位(0.555)标定,阈值应至少在 0.56 左右;但 0.54 的职责是 top1 兜底,不是 top-k 过滤。top1 阈值与 top-k 上下文过滤应分开设计,后者更适合交给 Rerank。
5.5 实验D:top1-top2 margin------有区分趋势,但边界重叠
阈值只看绝对分数,容易受模型分数带影响。一个常见的补充信号是 top1 与 top2 的分差(margin):正确块若明显领先,margin 大;库外问题各块分数接近,margin 小。
python
in_margins, out_margins = [], []
for i, q in enumerate(all_queries):
top2 = np.sort(sims[:, i])[::-1][:2]
margin = float(top2[0] - top2[1])
(in_margins if i < len(IN_QUERIES) else out_margins).append(margin)
print(f"库内 margin: {min(in_margins):.3f} ~ {max(in_margins):.3f} "
f"(均值 {np.mean(in_margins):.3f})")
print(f"库外 margin: {min(out_margins):.3f} ~ {max(out_margins):.3f} "
f"(均值 {np.mean(out_margins):.3f})")
输出结果:

python
== 实验D:top1-top2 margin(候选第二名与第一名的分差)==
库内 margin:0.104 ~ 0.214(均值 0.160)
库外 margin:0.014 ~ 0.105(均值 0.048)
整体趋势符合预期:库内均值 0.160,库外均值 0.048,相差 3 倍以上。但两组区间在 0.104 / 0.105 处重叠,说明在 9 条问题的小样本上,单靠 margin 无法完全分开。可行做法是把 margin 作为 score 之外的第二信号,具体阈值需在更大评估集上确定;它不能替代阈值,也不能用这 9 条数据证明其泛化能力。评估集扩到 50 条后,再决定是否启用。
落地顺序建议:先用 top1 阈值做兜底,再加 margin 做二次判断,最后用 Rerank 精排。不要一开始同时启用三层,否则无法判断收益来自哪一层。
四种方案的定位如下,本篇只验证前两行,后两行留给后续文章:
|-------------|------------------------|-------------------------------|
| 方案 | 判断依据 | 主要局限 |
| 固定阈值 | top1 分数 | 分数带随模型/数据漂移,hard negative 可漏过 |
| 阈值 + margin | top1 分数 + top1-top2 分差 | 小样本上边界重叠,需更大评估集 |
| 阈值 + Rerank | 交叉编码器逐对打分 | 延迟与成本上升 |
| 混合检索 | BM25 + 向量 | 需维护两套索引,融合权重需调 |
六、踩坑记录
- BGE 的 query 指令前缀是可选项,不是硬性要求。模型卡说明:v1.5 已专门增强「无指令」检索,短查询检索建议添加,但加与不加的效果差异较小,建议在自己的任务上实测决定;文档侧任何时候都不加。在 bge-small 上实测:加前缀分数反而略低(一组句对 0.6965 → 0.6374)、排序不变。本文检索类实验统一加前缀,成对相似度实验不加;阈值只在检索类加前缀的设置下成立,更换设置需重新标定。
- 模型缓存默认写入 C 盘用户目录 。HuggingFace 的默认路径是
~/.cache,Windows 上即 C 盘。HF_HOME重定向必须在 import 之前设置(放在项目入口的配置模块中,import 时即生效)。 - 阈值跨模型不可复用。本文验证:Hash 的 0.15 在 BGE 上变为 0.54,直接沿用会导致库外问题全部通过阈值。更换 Embedding 的正确动作是「重跑评估集 → 重标阈值 → 用独立验证集检查」三步。
- normalize_embeddings=True 必须开启。不开启时向量未归一化,点积 ≠ 余弦,分数区间整体漂移------看似只是改了一个参数,实际导致阈值必须重新标定,两个坑是联动的。
- 评估集过小会导致阈值不可靠。上一篇用 2 条库外问题标出的 0.15,被本篇新增的「年会节目单」一条即击穿(Hash 通道 0.220 > 0.15)。库外问题应尽量多收集------它们是兜底闸门真正要拦截的对象。
- 阈值只作用于 top1,不等于上下文干净。30 对负样本最高 0.592、95 分位 0.555,均高于 0.54;链路取 top-3 时,这些高分错块仍会进入模型。阈值决定「答不答」,Rerank / 混合检索才决定「喂什么」。
- margin 有区分趋势,但小样本上边界重叠。库内 margin 0.104 0.214,库外 0.014 0.105,整体均值相差 3 倍以上,但边界在 0.104/0.105 处重合,不能单独作为判据;可以作为 score 之外的第二信号,需在更大评估集上验证。
七、面试高频问题
- Embedding 模型怎么选型? 四个维度:质量(云端大模型通常更强)、成本(云端按量计费 / 本地免费)、延迟(本地无网络往返)、隐私(数据不出域选本地)。中文场景本地常用 BGE 系列(small/base/large 按资源选择),生产环境对质量敏感时可用云端 API。建议像本文一样封装为抽象层,便于切换对比。
- 为什么换 Embedding 模型后阈值要重新标定? 相似度分数的分布是模型相关的------本篇实测:同一个问题集,Hash 库外最高 0.220,BGE 库外最高 0.440,差了一倍。阈值由分数分布之间的间隙决定,分布一旦位移,间隙随之改变。
- 无答案兜底的阈值怎么定? 准备评估集(库内 + 库外,库内要含换说法,库外要含 hard negative),统计两边的 top1 分数分布,取库内最低与库外最高之间、两边留余量的位置;同时检查 top-k 里是否存在高分错块,必要时加 margin 或 Rerank。生产用分位数而非极值,并持续回流 badcase。
- RAG 检索不准,怎么排查? 分层定位:先看切片是否把语义单元切断(上一篇第五节分块策略),再看 Embedding 是否理解该领域(换说法测试,即本文实验B的方法),然后看阈值是否适配当前模型的分数分布(本文实验C),最后才是 Prompt。在检索环节不准确时调整 Prompt,是常见的无效排查路径。
- BGE 这种通用模型需要微调吗? 通用领域够用;但领域外的专业表达、否定句、细粒度数字是通用 Embedding 的弱项。本文实测:否定句 0.9419、数字边界 0.9449、反义方向 0.9862,分数与同义句同级------模型判断的是主题,不是答案。解法按性价比排序:更换更大的 Embedding → 加 BM25 词面检索做混合互补(性价比最高)→ 领域微调(最后手段,BGE 支持继续训练)。否定句仍需依靠 query 改写或更强的模型,单靠混合检索无法弥补。
小结
本篇将上一篇的 Hash 伪 Embedding 替换为本地 BGE 模型,用五组实验完成验证闭环:语义泛化成立(「魔都」查询从错答变为命中《差旅标准》),旧阈值 0.15 在新模型上失效,按「库内最低与库外最高取中间」重标定出 0.54,在同一评估集上自洽 9/9。实验A 同时量化了失效边界:否定句 0.9419、数字边界 0.9449、反义方向 0.9862,BGE 对关键限定词几乎不区分------向量相似度衡量主题,不衡量答案。5.4 的 30 对负样本进一步显示,负样本最高 0.592、95 分位 0.555,均高于 0.54:阈值能保证 top1 判定,但不能保证 top-3 上下文干净。比单个数字更重要的是过程:更换 Embedding 的标准动作 = 换模型 → 重跑评估集 → 重标阈值 → 用独立验证集检查,以后每次升级模型都要完整执行一遍。
总结:Embedding 决定 RAG 的语义理解能力,阈值决定其兜底触发时机------更换其中任何一个,另一个都必须重新校准;而阈值只能决定「答不答」,上下文是否干净要靠 Rerank 与混合检索。
实验暴露的边界正好是后续文章的主题:否定句、数字、近义术语这些硬边界,以及 0.54 在 hard negative 上不够用的余量,都指向混合检索与 Rerank。下一篇《从零搭一个 RAG 知识库(三):从演示语料到真实知识库------分块复检 + Chroma 落地》先把 8 块手册换成 ≥50 段公开/脱敏真实语料,把向量库从内存搬到 Chroma。
BGE 部分在不同机器上可能有极小浮点差异,量级与结论不变。
参考链接
- BGE 模型卡(bge-small-zh-v1.5,含指令前缀说明):https://huggingface.co/BAAI/bge-small-zh-v1.5
- 北京智源 BGE 系列(FlagEmbedding):https://huggingface.co/BAAI
- sentence-transformers 文档:SentenceTransformers Documentation --- Sentence Transformers documentation
- 运行说明:安装
sentence-transformers后,按第 2.1 节代码即可复现 Embedding 部分;三通道抽象层的设计见 2.3 节。