W15 · 政策时效:过期政策不该被召回,也不能被删掉
6 小时。目标:给知识库加有效期,让「三月下的单」和「今天下的单」拿到各自该适用的那一版规则。
计划表原话:给知识库加 valid_from / valid_to,过期政策不参与召回;活动规则按活动期过滤。
用 5 条过期政策提问,100% 不再按旧规则回答。
0. 这一周最重要的一句话
时效不是「过期就删」,是「按时点选版本」。
如果只把 valid_to 当成一个过滤条件------过期就从索引里拿掉------你会得到一个在另一类场景里必然答错的系统:
客户 3 月下的单,今天来问。系统按今天的政策回答。
条款是真的、数字是对的、引用逐字可查。但它用的是客户下单时还不存在的规则。
这种错比对不上引用难查得多,因为没有任何一处「看起来不对」。审计时你只能承认:
系统从来没记录过「这条政策是什么时候适用的」。
所以本周的核心不是多一个 if,而是把业务时点变成一次问答的一等输入:
asOf = 订单成交日(不是提问日)
一句话记住两者的区别:
过滤是为了「不该出现的别出现」,时点是为了「该出现的必须出现」。只做前者,你得到的是一个黑名单。
1. 先把「哪一天」变成一个类型
1.1 两个字符串比日期,会静默出错
valid_from / valid_to 在 front matter 里是字符串。直接拿来比大小是这样的:
java
"2026-4-1".compareTo("2026-03-31") > 0 // true ------ 4 月 1 日"大于"3 月 31 日?
"2026-04-01".compareTo("2026-4-1") < 0 // true ------ 同一个日期,写宽一点就变小了
第一行成立是因为字符 '4' > '0'。它不抛异常,只会让某一批政策的生效判断整体错位;
而错位的结果不是「查不到」,是用错版本回答。
所以 rag/EffectivePeriod.java 第一件事就是把字符串换成 LocalDate,之后只做日期比较,再也不碰字符串。
1.2 双闭区间,不是 [from, to)
写政策的人说的是「本规则执行到 3 月 31 日」。那句话的意思是 3 月 31 日当天还算数。
若按半开区间实现,3 月 31 日的订单会被判成「无政策可用」。而这个 bug 只在每月最后一天出现,
平时怎么测都是绿的------等它第一次显形,已经是大促最后一天了。
代价是录入时要克制「顺手 +1 天」的冲动。用闭区间,录入就是所见即所得;
用半开区间,你会得到一条隐蔽约定:每个人都要记得偷偷加一天,而总有人忘。
1.3 长期有效写 2099-12-31,不写 null
null 表示「永久」,意味着每一处判断都要先判空,而漏判一次的结果是「永久有效」被当成「无效」------
整个知识库当天全空。这种自伤比多写一个常量难查得多。
选 2099 而不是 9999,是为了让人一眼看出这是个占位值。
1.4 时区:LocalDate.now() 在 UTC 服务器上是错的
UTC 2026-11-02 17:30 → LocalDate.now() = 2026-11-02
北京时间同期 → 实际是 2026-11-03 凌晨 1:30
每天有 8 小时窗口,系统认为「还是昨天」。而政策恰恰在北京时间零点切换------
新政策 0 点生效,系统早上 8 点才认。 大促当天,这 8 小时就是「该用活动价却报了日常价」。
rag/PolicyClock.java 只有三行有意义的代码,但它把所有 now() 收回到一个地方,
顺带让演练可以注入任意日期------测时效不可能真的等到明年。
2. 造 5 条过期政策:怎么让这个验收「有牙」
计划表的轻任务是「整理一份过期政策样例清单(5 条)」。这一步不是抄文档,是设计实验材料。
2.1 五条清单
新造一份 policies-vault/legacy-2025-return.md + legacy-2025-sla.md,条款刻意与现行规则冲突:
| 题号 | 提问 | 旧规则(2025) | 现行规则 | 差异点 |
|---|---|---|---|---|
| P1 | 第 12 天了还能无理由退货吗 | LEG-1.1 十五日内可退 |
RET-2.1 七日内 |
期限 15 vs 7 |
| P2 | 超时 48 小时赔多少 | LGS-1.1 赔 15% |
SLA-3.2 按 24/72 小时分档 5%/10%/20% |
比例 15% vs 10% |
| P3 | 超时赔付是现金还是券 | LGS-1.2 现金可提现 |
SLA-3.2 无门槛券、不可提现 |
形态与可提现性 |
| P4 | 退货的快递费谁出 | LEG-3.1 平台承担 |
SHIP-3.1 消费者承担 |
责任方反转 |
| P5 | 多少钱免运费 | LEG-2.1 满 129 |
SHIP-2.1 满 99 |
门槛 129 vs 99 |
规则:每一条的差异必须能改变答案,而不是只改变措辞。
如果旧规则写「七日内可退,但需说明理由」,现行写「七日内可退」------
过滤不过滤,最终答案都是「七天内能退」,这 5 条题就测不出任何东西。
2.2 为什么拆成两篇文档(不是一篇)
第一版我把 2025 版写成一整篇,valid_to: 2026-03-31,结果时间轴上出现一个尴尬窗口:
2026-03-01 新版《退货政策》生效 ─┐
2026-03-31 旧版整体失效 ─┘ 3 月里,"十五日退货"和"七日退货"同时有效
这是数据造错 ,不是系统的问题。真实世界里一份 2025 版售后规则很少被一次性整体替换:
退货部分在 3 月被新版替代,时效部分一直执行到 4 月。
正确做法是让有效期落到条款级 (Chunk 从 W12 就带着 validFrom/validTo 字段,就是为这天准备的);
本工程用「拆成两篇文档」来模拟,改动最小、语义最清楚:
| 文档 | 覆盖 | 有效期 |
|---|---|---|
legacy-2025-return.md |
退货 / 运费 / 免邮门槛 | 2025-01-01 ~ 2026-02-28 |
legacy-2025-sla.md |
时效 / 超时赔付 | 2025-01-01 ~ 2026-03-31 |
promo-20261212.md |
双 12 活动规则 | 2026-11-25 ~ 2026-12-12 |
2.3 为什么归档单独一个清单
归档文档放在 policies-vault/,有自己的 index.txt,Doc.loadAll() 仍然只加载 policies/。
这不是洁癖。W12--W14 的全部数字(recall 0.960、引用命中 0.894、38 条条款)都建立在「3 篇现行文档」上。
一旦把它们混进同一个库,你会同时失去两样东西:
- 历史数字的可比性------旧结论全部作废;
- A/B 的可能性------「加时效前后」没法用同一批题对比,因为语料都变了。
Doc.loadEverything() 才是「全量知识库」。加载时合并,过滤时才分开。
生产上没有这个区分(只有一个库 + 元数据过滤),这里分开只为保住一条可回退的基线。
3. 过滤放在哪一层:排序前,而且是两个维度
3.1 不能「取完 top-k 再筛掉过期的」
如果做成一个装饰器------先取 top-5,再 filter 掉过期的------你会得到一个安静降级:
top-5 里有 2 条过期 → 筛完只剩 3 条 → 证据不足 → 误拒
指标上表现为「加了时效后拒答率上升」,很容易被归因成「拒答太严」,
而真相是过滤发生得太晚:旧条款占掉了名额,正确答案根本没进来。
实测数字(5 条过期题,不过滤链路):
旧条款挤进 top-5 的题 5/5
旧条款抢到第一位并据此作答 3/5
差的这 2 条正是隐性损失 :它们「看起来没出错」,但 k 个名额被占了两个,
真正能回答的候选只剩 3 条。这类损失永远不会出现在准确率上,只会出现在拒答率上。
所以 PolicyView 的做法是先算可见集合,再建索引:
java
List<Chunk> chunksAt(asOf) // 过滤后的候选集合
VectorStore / Bm25 都只 build 这个集合
代价是每换一个时点要重建一次索引。本工程量级下 5~11 ms,可以忽略;
上万 chunk 时必须改成「一份索引 + 元数据过滤下推」(Milvus 的 expr、ES 的 filter、PG 的 WHERE)。
这里的「视图」是在模拟那个语义,不是在推荐这种实现。
3.2 第二个维度:角色,不是时间
W14 撞过一件事,W15 必须还债。问「超时 30 小时赔百分之几」,系统引了 SLA-4.3:
旧版中「超时 48 小时以上赔付订单金额 15%」与「超时赔付以现金形式发放」自本规则生效之日起废止。
条款存在、引文逐字、数字也对,但它引的是一句宣布作废的话。
W14 的补丁是「正文含『废止』的条款不许引」。这是措辞启发式:任何一条正常规则只要写了
「本办法废止前发生的订单...」就被误伤,换个说法(「不再执行」「以新版为准」)就漏了。
W15 把它换成结构:ClauseRole.RULE / ClauseRole.NOTICE。
宣布废止、过渡、附则、生效说明------这些条款本身不是可执行规则 ,
无论它写了什么数字,都不能作为依据。
时间维度治不了它 :
SLA-4.3在有效期上完全正常(它自 2026-04-01 起一直有效)。它的问题不是「过期」,是「它就不是规则」。两件事必须分开建模,否则你会一直用日期去掩盖一个文体问题。
PolicyView 里两条过滤并存:
java
visibleAt(asOf) = period.activeAt(asOf) // 时间维度
citableAt(asOf) = visibleAt(asOf) && role.citable() // 再加上角色
4. 时间轴:两处「同日切换」
| 时点 | RET | SHIP | SLA | LEG | LGS | PRM | 候选 chunk |
|---|---|---|---|---|---|---|---|
| 2025-12-01 | 未生效 | 未生效 | 未生效 | 生效 | 生效 | 未生效 | 5 |
| 2026-02-28 | 未生效 | 生效 | 未生效 | 生效(最后一天) | 生效 | 未生效 | 17 |
| 2026-03-01 | 生效 | 生效 | 未生效 | 过期 | 生效 | 未生效 | 28 |
| 2026-04-01 | 生效 | 生效 | 生效 | 过期 | 过期 | 未生效 | 37 |
| 2026-11-03(今天) | 生效 | 生效 | 生效 | 过期 | 过期 | 未生效 | 37 |
| 2026-12-05 | 生效 | 生效 | 生效 | 过期 | 过期 | 生效 | 40 |
两条实线值得单独看:3 月 1 日和 4 月 1 日。同一天里,旧版失效、新版生效,无缝切换。
这就是版本必须按日期 判断、而不是按部署时间 判断的原因:
你没法在零点爬起来重启进程,也不该让「本周发版」决定客户适用哪版政策。
今天(2026-11-03)的候选池是 37 条 = 现行 38 条 − 1 条说明条款 。
时效过滤在今天是「看不见 8 条」,角色过滤是「看不见 1 条」,两者加起来 9 条。
5. 5 条过期题:0/5 与 5/5
| 题号 | 不过滤时判定会引 | 过滤后实际引用 | 回溯到 2025-12 |
|---|---|---|---|
| P1 | PRM-1.1⚠ |
RET-2.1 |
LEG-1.1 |
| P2 | SLA-4.3⚠ |
SLA-3.2 |
LGS-1.1 |
| P3 | LGS-1.2 |
SLA-3.2 |
LGS-1.2 |
| P4 | SHIP-3.1 |
SHIP-3.1 |
LEG-3.1 |
| P5 | SHIP-2.1 |
SHIP-2.1 |
LEG-2.1 |
⚠ 表示「引了今天不能作为依据的条款」:P1 引了还没生效 的活动规则(十五日),
P2 引了说明条款(里面写着已废止的 15%)。
结果:过滤后泄漏 0/5;回溯到 2025-12 时 5/5 由旧规则作答。
5.1 为什么必须有「对照组」
「0/5 泄漏」这个数字本身证明不了任何事。它可能来自过滤,也可能因为这些旧条款压根没被召回。
所以每条题都跑了不过滤的链路 ,先证明它确实会把旧条款排进来(5/5 挤进 top-5,3/5 抢到第一位),
再证明过滤挡住了它。
没有对照组的 A/B,只是两个数字碰巧不一样。
5.2 回溯这条轴,才是「时效」和「黑名单」的分界线
第 5 列是把 asOf 退回到 2025-12-01------那时现行三篇都还没生效,只有 2025 版。
5 条题全部由旧规则回答,而且引的正好是该题对应的那条(不是隔壁那条运费规则)。
如果这时系统仍然拒绝旧规则,那它实现的是「删除历史」,不是「时效」。
在历史订单纠纷这个场景里,后者等于完全不可用------而售后最常处理的就是历史订单。
6. 活动规则:三态,和一个「不是 bug」的错误
同一个问题「双12 买的东西退货期限是几天」,三个时点三种结果:
| 时点 | 结论 | 引用 | 说明 |
|---|---|---|---|
| 2026-11-20(活动前) | ANSWERED | SLA-4.2 |
活动规则未生效,退回长期条款 |
| 2026-12-05(活动中) | ANSWERED | PRM-1.1 |
十五日,活动规则生效 |
| 2026-12-20(活动后) | ANSWERED | SLA-4.2 |
活动规则已失效 |
前两行都对。第三行是本周最容易被忽略的错误示范,而它不是 bug。
对「2026-12-05 下的单」,正确答案是十五日。系统答了长期条款,是因为调用方传了「今天」。
活动结束后再问活动订单,
asOf必须传订单日。这不是「活动规则的边界情况」,这是所有时效问题的通例:你过滤的是政策适用的时间,不是提问的时间。
6.1 一个容易搞混的区分:SLA-4.2 与 PRM
SLA-4.2(大促期间时效延长)在活动期外依然被召回 ,而 PRM(双 12 活动规则)不会。
两者看起来都在讲活动,但性质不同:
| 它是什么 | 有效期 | 该不该按活动期过滤 | |
|---|---|---|---|
SLA-4.2 |
长期条款里描述的短期规则(「大促期间延长至 72 小时」) | 长期有效 | ❌ 不过滤 |
PRM-1.1 |
独立的活动文档(只在活动期存在) | 2026-11-25 ~ 12-12 | ✅ 过滤 |
混淆的后果很具体:把 SLA-4.2 也按活动期过滤掉,大促期间反而查不到时效延长。
判断标准不是「这一条里有没有出现『活动』两个字」,而是「这条规则本身在活动期外还存不存在」。
7. 第二道闸:V5 与 V6
检索过滤是第一道闸,但它不能假设上游一定对:调用方传错日期、某条路径绕过 PolicyView、
有人把上下文直接拼给模型------这些情况下旧条款仍会进到答案里。
CitationValidator 里两条新规则:
| 规则 | 查什么 | 拦的是 |
|---|---|---|
| V5 | 所引条款在业务时点上有效(过期 / 未生效分开报) | 引用已废止或尚未生效的条款 |
| V6 | 所引条款的角色是「规则」,不是「说明」 | 拿「宣布废止」那句话当依据 |
四条负向测试(直接构造引用、只测规则本身,绕开 Answerer 的降级逻辑):
今天引 LGS-1.2(已过期) → V5:条款 LGS-1.2 已于 2026-03-31 失效,业务时点 2026-11-03 不适用
今天引 PRM-1.1(未生效) → V5:条款 PRM-1.1 到 2026-11-25 才生效,业务时点 2026-11-03 尚不适用
2025-12 引 LGS-1.2 → 放行(当时有效)
今天引 SLA-4.3(说明条款) → V6:条款 SLA-4.3「旧版规则废止」是规则说明,不能作为回答依据
第三行是必须的:同一条款在它有效的时点上必须放行。 没有这条,「时间判断」可能被实现成一张黑名单,
而黑名单在回溯场景里全错------而你从「拦住了」的测试里看不出来。
7.1 两层都在,不是冗余
过滤决定「看得到什么」,校验决定「能不能拿来说」。
缺过滤 → 旧条款挤掉正确条款,正确答案进不了上下文;
缺校验 → 一次传错日期就会把旧规则发出去。
实测:不过滤链路跑完 5 条过期题,4 条被 V5 拦下并降级,0 条真的按旧规则答出去。
这句话要读准:它不代表「不做过滤也行」。降级成转人工 4 次,对客服来说是 4 个本该自动解决的问题。
第一道闸省的是人工,第二道闸防的是事故------用途不同,都得有。
8. 边界与时区
2026-03-01 ~ 2026-03-31 : 3-31 → true 4-1 → false
valid_from 之前 : 未生效
起止写反 : 当场抛异常
缺 valid_to : 当场抛异常
业务时区 : Asia/Shanghai
Doc.parse 对 front matter 的必填校验是刻意的:缺 valid_to 的文档会被当成「永久有效」 ,
而一条早已废止的退款规则被当成有效规则回答出去,是要赔钱的。缺字段必须当场炸,不能延后。
9. 实测与回归
6 篇 / 46 条条款 / 46 个 chunk(现行 38 + 历史 5 + 活动 3)
今天的候选池 37 条(38 − 1 条说明条款)
过期政策 5 条:不过滤时旧条款挤进 top-5 5/5、据此作答 3/5 → 过滤后泄漏 0/5
回溯到 2025-12:5/5 由旧规则作答,且引的正好是对应那条
活动规则:活动前不引、活动中引对、活动后按订单日回溯仍能用对
回归(W14 的 50 条,时点=今天):作答 48/50,引用命中 0.896,误拒 0
对照 W14 交付时:47/50,0.894
多的那 1 条不是时效的功劳。 W14 里有 1 条题因为引到 SLA-4.3 被拦下、降级成转人工;
现在说明条款压根不进候选池,它被正确引到了 SLA-3.2。
「修完根因,旧护栏的误伤自己消失」------这是删掉补丁的最好证据。
9.1 成本
| 指标 | 数值 |
|---|---|
| 视图构建(首次,含切分 + 索引) | 5 ~ 11 ms |
| 检索段 P50 | 过滤后 279 µs / 不过滤 347 µs |
| 端到端 P50 / P95 | 541 / 680 µs |
检索段更快,因为候选少 9 条。端到端那 140 µs 的差不要当真 :
对照链路里有题在校验处提前降级、没走到生成,拿两条链路比总耗时本来就不公平。
要比较的是同一段代码------所以单独量了检索段。
10. 这一周踩的坑
坑 1:条款标题的 key 格式不一致,角色全部退化成 RULE
clauseTitles 第一版用 Heading.num()("4.3")当键,查找却用 clauseId("SLA-4.3")。
于是每一条都查不到标题 ,角色全是 RULE,V6 一条都没拦住。
它不报错:所有条款都「正常」是规则,看起来一切正常。这类「键格式不一致导致 join 全空」的错误,
SQL 里一天能写三个,测试里一个都抓不到------只能靠负向测试(故意引一条说明条款,看拦不拦)。
坑 2:缓存把构建成本藏起来了,于是「性能结论」变成了「缓存命中率」
第一版量「每换一个时点重建索引的代价」,直接在已缓存的 view 上计时,结果全是 0 ms。
于是我得到一个很舒服的结论「构建成本可忽略」------其实什么都没测。
修法:每次都 new PolicyView(...) 再计时。同理,任何「优化前后对比」如果命中了缓存,结论都作废。
坑 3:拿端到端 P95 比较两条链路,等于在测别的东西
过滤后 P95 一度比不过滤还慢 1.5 倍。原因不是过滤,是对照链路里有题提前降级、少跑了生成。
要证明「过滤不拖慢查询」,只能量检索段------那里两条链路的代码是同一段。
坑 4:把数据造错,然后以为是系统的问题
第一版 2025 版政策写成一整篇、共用一个 valid_to,于是 3 月里「十五日退货」和「七日退货」同时有效。
系统老老实实召回了两条,我则在怀疑「优先级逻辑是不是有 bug」。
时间轴一画出来就看见了。 造数据的时间成本,永远低于怀疑系统的时间成本。
11. 验收
bash
cd 教程/W1-W4/ecom-agent-lab
mvn -q -o clean compile && bash selfcheck-c.sh
W12 切分对比:通过 19 / 失败 0
W13 混合检索:通过 22 / 失败 0
W14 引用与拒答:通过 22 / 失败 0
W15 政策时效:通过 40 / 失败 0
C 阶段自检:4 个演练通过。
对照计划表:
| 计划表要求 | 实测 | 结论 |
|---|---|---|
| 加 valid_from / valid_to,过期不参与召回 | 6 篇 / 46 条,时点过滤 + 角色过滤 | ✅ |
| 活动规则按活动期过滤 | 三态全对,活动订单回溯到订单日仍正确 | ✅ |
| 5 条过期政策提问,100% 不再按旧规则回答 | 0/5 泄漏(对照组 3/5 会错) | ✅ |
报表:w15-timeline.csv(可见性矩阵)、w15-legacy.csv(5 条过期题对照)。
自检清单
- 我能说清「过滤条件必须是订单日,不是提问日」,并举一个传错就答错的例子
- 我能解释为什么过滤必须在排序前,以及「取完 top-k 再筛」会表现成什么症状
- 我知道有效期为什么是双闭区间,半开区间会在哪天出错
- 我能说清
SLA-4.2和PRM的区别,以及混淆的后果 - 我能解释
SLA-4.3的问题为什么不是过期、而是角色 - 我能说清 V5 与 V6 各自拦什么,以及为什么回溯时同一条款必须放行
- 我知道为什么「0/5 泄漏」这个数字需要对照组才有意义
还没做的
- 条款级有效期 :现在是文档级。真实场景里一份文档会被多份新规分批替代,正解是
Chunk级
(字段从 W12 就留好了),本工程用拆文档模拟 - 优先级:同一时点两个版本同时有效时(过渡期常见),谁优先?现在是「不要造出这种数据」
- 活动期按渠道/品类细分:真实的双 11 规则分预售、现货、不同类目,本周只有一条时间轴
- 真模型复测:所有数字来自抽取式生成 + hashing 检索,只证明机制,不是准确率
12. 一句话带走的
一条政策的价值,一半在它写了什么,另一半在它什么时候有效。
前者你已经在 W12--W14 做完了:切分、检索、引用、拒答。
后者看起来只是两个日期字段,但它决定了一件事------你敢不敢让这套系统碰历史订单。
售后场景里,历史订单不是边缘情况,它就是主战场。而「按错时点回答」是最难被发现的错误:
所有校验都通过,只有客户知道答案不对。
下一周(W16)把它接进 W6 的五步链「查政策」节点:端到端 30 条 ≥ 88%,
并且要在团队里讲一次 30 分钟。分享是成本最低的转岗面试------听众里就有决策人。