Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉

W15 · 政策时效:过期政策不该被召回,也不能被删掉

6 小时。目标:给知识库加有效期,让「三月下的单」和「今天下的单」拿到各自该适用的那一版规则。

计划表原话:给知识库加 valid_from / valid_to,过期政策不参与召回;活动规则按活动期过滤。
用 5 条过期政策提问,100% 不再按旧规则回答。


0. 这一周最重要的一句话

时效不是「过期就删」,是「按时点选版本」。

如果只把 valid_to 当成一个过滤条件------过期就从索引里拿掉------你会得到一个在另一类场景里必然答错的系统:

客户 3 月下的单,今天来问。系统按今天的政策回答。

条款是真的、数字是对的、引用逐字可查。但它用的是客户下单时还不存在的规则。

这种错比对不上引用难查得多,因为没有任何一处「看起来不对」。审计时你只能承认:

系统从来没记录过「这条政策是什么时候适用的」。

所以本周的核心不是多一个 if,而是把业务时点变成一次问答的一等输入:

复制代码
asOf = 订单成交日(不是提问日)

一句话记住两者的区别:

过滤是为了「不该出现的别出现」,时点是为了「该出现的必须出现」。只做前者,你得到的是一个黑名单。


1. 先把「哪一天」变成一个类型

1.1 两个字符串比日期,会静默出错

valid_from / valid_to 在 front matter 里是字符串。直接拿来比大小是这样的:

java 复制代码
"2026-4-1".compareTo("2026-03-31") > 0     // true ------ 4 月 1 日"大于"3 月 31 日?
"2026-04-01".compareTo("2026-4-1") < 0     // true ------ 同一个日期,写宽一点就变小了

第一行成立是因为字符 '4' > '0'。它不抛异常,只会让某一批政策的生效判断整体错位;

而错位的结果不是「查不到」,是用错版本回答。

所以 rag/EffectivePeriod.java 第一件事就是把字符串换成 LocalDate,之后只做日期比较,再也不碰字符串。

1.2 双闭区间,不是 [from, to)

写政策的人说的是「本规则执行到 3 月 31 日」。那句话的意思是 3 月 31 日当天还算数。

若按半开区间实现,3 月 31 日的订单会被判成「无政策可用」。而这个 bug 只在每月最后一天出现,

平时怎么测都是绿的------等它第一次显形,已经是大促最后一天了。

代价是录入时要克制「顺手 +1 天」的冲动。用闭区间,录入就是所见即所得;

用半开区间,你会得到一条隐蔽约定:每个人都要记得偷偷加一天,而总有人忘。

1.3 长期有效写 2099-12-31,不写 null

null 表示「永久」,意味着每一处判断都要先判空,而漏判一次的结果是「永久有效」被当成「无效」------

整个知识库当天全空。这种自伤比多写一个常量难查得多。

选 2099 而不是 9999,是为了让人一眼看出这是个占位值。

1.4 时区:LocalDate.now() 在 UTC 服务器上是错的

复制代码
UTC 2026-11-02 17:30  →  LocalDate.now() = 2026-11-02
北京时间同期           →  实际是 2026-11-03 凌晨 1:30

每天有 8 小时窗口,系统认为「还是昨天」。而政策恰恰在北京时间零点切换------

新政策 0 点生效,系统早上 8 点才认。 大促当天,这 8 小时就是「该用活动价却报了日常价」。

rag/PolicyClock.java 只有三行有意义的代码,但它把所有 now() 收回到一个地方,

顺带让演练可以注入任意日期------测时效不可能真的等到明年。


2. 造 5 条过期政策:怎么让这个验收「有牙」

计划表的轻任务是「整理一份过期政策样例清单(5 条)」。这一步不是抄文档,是设计实验材料。

2.1 五条清单

新造一份 policies-vault/legacy-2025-return.md + legacy-2025-sla.md,条款刻意与现行规则冲突:

题号 提问 旧规则(2025) 现行规则 差异点
P1 第 12 天了还能无理由退货吗 LEG-1.1 十五日内可退 RET-2.1 七日内 期限 15 vs 7
P2 超时 48 小时赔多少 LGS-1.1 赔 15% SLA-3.2 按 24/72 小时分档 5%/10%/20% 比例 15% vs 10%
P3 超时赔付是现金还是券 LGS-1.2 现金可提现 SLA-3.2 无门槛券、不可提现 形态与可提现性
P4 退货的快递费谁出 LEG-3.1 平台承担 SHIP-3.1 消费者承担 责任方反转
P5 多少钱免运费 LEG-2.1 满 129 SHIP-2.1 满 99 门槛 129 vs 99

规则:每一条的差异必须能改变答案,而不是只改变措辞。

如果旧规则写「七日内可退,但需说明理由」,现行写「七日内可退」------

过滤不过滤,最终答案都是「七天内能退」,这 5 条题就测不出任何东西。

2.2 为什么拆成两篇文档(不是一篇)

第一版我把 2025 版写成一整篇,valid_to: 2026-03-31,结果时间轴上出现一个尴尬窗口:

复制代码
2026-03-01  新版《退货政策》生效  ─┐
2026-03-31  旧版整体失效          ─┘  3 月里,"十五日退货"和"七日退货"同时有效

这是数据造错 ,不是系统的问题。真实世界里一份 2025 版售后规则很少被一次性整体替换:

退货部分在 3 月被新版替代,时效部分一直执行到 4 月。

正确做法是让有效期落到条款级 (Chunk 从 W12 就带着 validFrom/validTo 字段,就是为这天准备的);

本工程用「拆成两篇文档」来模拟,改动最小、语义最清楚:

文档 覆盖 有效期
legacy-2025-return.md 退货 / 运费 / 免邮门槛 2025-01-01 ~ 2026-02-28
legacy-2025-sla.md 时效 / 超时赔付 2025-01-01 ~ 2026-03-31
promo-20261212.md 双 12 活动规则 2026-11-25 ~ 2026-12-12

2.3 为什么归档单独一个清单

归档文档放在 policies-vault/,有自己的 index.txt,Doc.loadAll() 仍然只加载 policies/。

这不是洁癖。W12--W14 的全部数字(recall 0.960、引用命中 0.894、38 条条款)都建立在「3 篇现行文档」上。

一旦把它们混进同一个库,你会同时失去两样东西:

  1. 历史数字的可比性------旧结论全部作废;
  2. A/B 的可能性------「加时效前后」没法用同一批题对比,因为语料都变了。

Doc.loadEverything() 才是「全量知识库」。加载时合并,过滤时才分开。

生产上没有这个区分(只有一个库 + 元数据过滤),这里分开只为保住一条可回退的基线。


3. 过滤放在哪一层:排序前,而且是两个维度

3.1 不能「取完 top-k 再筛掉过期的」

如果做成一个装饰器------先取 top-5,再 filter 掉过期的------你会得到一个安静降级:

复制代码
top-5 里有 2 条过期 → 筛完只剩 3 条 → 证据不足 → 误拒

指标上表现为「加了时效后拒答率上升」,很容易被归因成「拒答太严」,

而真相是过滤发生得太晚:旧条款占掉了名额,正确答案根本没进来。

实测数字(5 条过期题,不过滤链路):

复制代码
旧条款挤进 top-5 的题    5/5
旧条款抢到第一位并据此作答 3/5

差的这 2 条正是隐性损失 :它们「看起来没出错」,但 k 个名额被占了两个,

真正能回答的候选只剩 3 条。这类损失永远不会出现在准确率上,只会出现在拒答率上。

所以 PolicyView 的做法是先算可见集合,再建索引:

java 复制代码
List<Chunk> chunksAt(asOf)        // 过滤后的候选集合
VectorStore / Bm25 都只 build 这个集合

代价是每换一个时点要重建一次索引。本工程量级下 5~11 ms,可以忽略;

上万 chunk 时必须改成「一份索引 + 元数据过滤下推」(Milvus 的 expr、ES 的 filter、PG 的 WHERE)。

这里的「视图」是在模拟那个语义,不是在推荐这种实现。

3.2 第二个维度:角色,不是时间

W14 撞过一件事,W15 必须还债。问「超时 30 小时赔百分之几」,系统引了 SLA-4.3:

旧版中「超时 48 小时以上赔付订单金额 15%」与「超时赔付以现金形式发放」自本规则生效之日起废止。

条款存在、引文逐字、数字也对,但它引的是一句宣布作废的话。

W14 的补丁是「正文含『废止』的条款不许引」。这是措辞启发式:任何一条正常规则只要写了

「本办法废止前发生的订单...」就被误伤,换个说法(「不再执行」「以新版为准」)就漏了。

W15 把它换成结构:ClauseRole.RULE / ClauseRole.NOTICE。

宣布废止、过渡、附则、生效说明------这些条款本身不是可执行规则 ,

无论它写了什么数字,都不能作为依据。

时间维度治不了它 :SLA-4.3 在有效期上完全正常(它自 2026-04-01 起一直有效)。

它的问题不是「过期」,是「它就不是规则」。两件事必须分开建模,否则你会一直用日期去掩盖一个文体问题。

PolicyView 里两条过滤并存:

java 复制代码
visibleAt(asOf)  = period.activeAt(asOf)               // 时间维度
citableAt(asOf)  = visibleAt(asOf) && role.citable()   // 再加上角色

4. 时间轴:两处「同日切换」

时点 RET SHIP SLA LEG LGS PRM 候选 chunk
2025-12-01 未生效 未生效 未生效 生效 生效 未生效 5
2026-02-28 未生效 生效 未生效 生效(最后一天) 生效 未生效 17
2026-03-01 生效 生效 未生效 过期 生效 未生效 28
2026-04-01 生效 生效 生效 过期 过期 未生效 37
2026-11-03(今天) 生效 生效 生效 过期 过期 未生效 37
2026-12-05 生效 生效 生效 过期 过期 生效 40

两条实线值得单独看:3 月 1 日和 4 月 1 日。同一天里,旧版失效、新版生效,无缝切换。

这就是版本必须按日期 判断、而不是按部署时间 判断的原因:

你没法在零点爬起来重启进程,也不该让「本周发版」决定客户适用哪版政策。

今天(2026-11-03)的候选池是 37 条 = 现行 38 条 − 1 条说明条款 。

时效过滤在今天是「看不见 8 条」,角色过滤是「看不见 1 条」,两者加起来 9 条。


5. 5 条过期题:0/5 与 5/5

题号 不过滤时判定会引 过滤后实际引用 回溯到 2025-12
P1 PRM-1.1⚠ RET-2.1 LEG-1.1
P2 SLA-4.3⚠ SLA-3.2 LGS-1.1
P3 LGS-1.2 SLA-3.2 LGS-1.2
P4 SHIP-3.1 SHIP-3.1 LEG-3.1
P5 SHIP-2.1 SHIP-2.1 LEG-2.1

⚠ 表示「引了今天不能作为依据的条款」:P1 引了还没生效 的活动规则(十五日),

P2 引了说明条款(里面写着已废止的 15%)。

结果:过滤后泄漏 0/5;回溯到 2025-12 时 5/5 由旧规则作答。

5.1 为什么必须有「对照组」

「0/5 泄漏」这个数字本身证明不了任何事。它可能来自过滤,也可能因为这些旧条款压根没被召回。

所以每条题都跑了不过滤的链路 ,先证明它确实会把旧条款排进来(5/5 挤进 top-5,3/5 抢到第一位),

再证明过滤挡住了它。

没有对照组的 A/B,只是两个数字碰巧不一样。

5.2 回溯这条轴,才是「时效」和「黑名单」的分界线

第 5 列是把 asOf 退回到 2025-12-01------那时现行三篇都还没生效,只有 2025 版。

5 条题全部由旧规则回答,而且引的正好是该题对应的那条(不是隔壁那条运费规则)。

如果这时系统仍然拒绝旧规则,那它实现的是「删除历史」,不是「时效」。

在历史订单纠纷这个场景里,后者等于完全不可用------而售后最常处理的就是历史订单。


6. 活动规则:三态,和一个「不是 bug」的错误

同一个问题「双12 买的东西退货期限是几天」,三个时点三种结果:

时点 结论 引用 说明
2026-11-20(活动前) ANSWERED SLA-4.2 活动规则未生效,退回长期条款
2026-12-05(活动中) ANSWERED PRM-1.1 十五日,活动规则生效
2026-12-20(活动后) ANSWERED SLA-4.2 活动规则已失效

前两行都对。第三行是本周最容易被忽略的错误示范,而它不是 bug。

对「2026-12-05 下的单」,正确答案是十五日。系统答了长期条款,是因为调用方传了「今天」。

活动结束后再问活动订单,asOf 必须传订单日。

这不是「活动规则的边界情况」,这是所有时效问题的通例:你过滤的是政策适用的时间,不是提问的时间。

6.1 一个容易搞混的区分:SLA-4.2 与 PRM

SLA-4.2(大促期间时效延长)在活动期外依然被召回 ,而 PRM(双 12 活动规则)不会。

两者看起来都在讲活动,但性质不同:

它是什么 有效期 该不该按活动期过滤
SLA-4.2 长期条款里描述的短期规则(「大促期间延长至 72 小时」) 长期有效 ❌ 不过滤
PRM-1.1 独立的活动文档(只在活动期存在) 2026-11-25 ~ 12-12 ✅ 过滤

混淆的后果很具体:把 SLA-4.2 也按活动期过滤掉,大促期间反而查不到时效延长。

判断标准不是「这一条里有没有出现『活动』两个字」,而是「这条规则本身在活动期外还存不存在」。


7. 第二道闸:V5 与 V6

检索过滤是第一道闸,但它不能假设上游一定对:调用方传错日期、某条路径绕过 PolicyView、

有人把上下文直接拼给模型------这些情况下旧条款仍会进到答案里。

CitationValidator 里两条新规则:

规则 查什么 拦的是
V5 所引条款在业务时点上有效(过期 / 未生效分开报) 引用已废止或尚未生效的条款
V6 所引条款的角色是「规则」,不是「说明」 拿「宣布废止」那句话当依据

四条负向测试(直接构造引用、只测规则本身,绕开 Answerer 的降级逻辑):

复制代码
今天引 LGS-1.2(已过期)   → V5:条款 LGS-1.2 已于 2026-03-31 失效,业务时点 2026-11-03 不适用
今天引 PRM-1.1(未生效)   → V5:条款 PRM-1.1 到 2026-11-25 才生效,业务时点 2026-11-03 尚不适用
2025-12 引 LGS-1.2        → 放行(当时有效)
今天引 SLA-4.3(说明条款) → V6:条款 SLA-4.3「旧版规则废止」是规则说明,不能作为回答依据

第三行是必须的:同一条款在它有效的时点上必须放行。 没有这条,「时间判断」可能被实现成一张黑名单,

而黑名单在回溯场景里全错------而你从「拦住了」的测试里看不出来。

7.1 两层都在,不是冗余

复制代码
过滤决定「看得到什么」,校验决定「能不能拿来说」。
缺过滤 → 旧条款挤掉正确条款,正确答案进不了上下文;
缺校验 → 一次传错日期就会把旧规则发出去。

实测:不过滤链路跑完 5 条过期题,4 条被 V5 拦下并降级,0 条真的按旧规则答出去。

这句话要读准:它不代表「不做过滤也行」。降级成转人工 4 次,对客服来说是 4 个本该自动解决的问题。

第一道闸省的是人工,第二道闸防的是事故------用途不同,都得有。


8. 边界与时区

复制代码
2026-03-01 ~ 2026-03-31 : 3-31 → true   4-1 → false
valid_from 之前          : 未生效
起止写反                  : 当场抛异常
缺 valid_to              : 当场抛异常
业务时区                  : Asia/Shanghai

Doc.parse 对 front matter 的必填校验是刻意的:缺 valid_to 的文档会被当成「永久有效」 ,

而一条早已废止的退款规则被当成有效规则回答出去,是要赔钱的。缺字段必须当场炸,不能延后。


9. 实测与回归

复制代码
6 篇 / 46 条条款 / 46 个 chunk(现行 38 + 历史 5 + 活动 3)
今天的候选池 37 条(38 − 1 条说明条款)

过期政策 5 条:不过滤时旧条款挤进 top-5 5/5、据此作答 3/5 → 过滤后泄漏 0/5
回溯到 2025-12:5/5 由旧规则作答,且引的正好是对应那条
活动规则:活动前不引、活动中引对、活动后按订单日回溯仍能用对

回归(W14 的 50 条,时点=今天):作答 48/50,引用命中 0.896,误拒 0
对照 W14 交付时:47/50,0.894

多的那 1 条不是时效的功劳。 W14 里有 1 条题因为引到 SLA-4.3 被拦下、降级成转人工;

现在说明条款压根不进候选池,它被正确引到了 SLA-3.2。

「修完根因,旧护栏的误伤自己消失」------这是删掉补丁的最好证据。

9.1 成本

指标 数值
视图构建(首次,含切分 + 索引) 5 ~ 11 ms
检索段 P50 过滤后 279 µs / 不过滤 347 µs
端到端 P50 / P95 541 / 680 µs

检索段更快,因为候选少 9 条。端到端那 140 µs 的差不要当真 :

对照链路里有题在校验处提前降级、没走到生成,拿两条链路比总耗时本来就不公平。

要比较的是同一段代码------所以单独量了检索段。


10. 这一周踩的坑

坑 1:条款标题的 key 格式不一致,角色全部退化成 RULE

clauseTitles 第一版用 Heading.num()("4.3")当键,查找却用 clauseId("SLA-4.3")。

于是每一条都查不到标题 ,角色全是 RULE,V6 一条都没拦住。

它不报错:所有条款都「正常」是规则,看起来一切正常。这类「键格式不一致导致 join 全空」的错误,

SQL 里一天能写三个,测试里一个都抓不到------只能靠负向测试(故意引一条说明条款,看拦不拦)。

坑 2:缓存把构建成本藏起来了,于是「性能结论」变成了「缓存命中率」

第一版量「每换一个时点重建索引的代价」,直接在已缓存的 view 上计时,结果全是 0 ms。

于是我得到一个很舒服的结论「构建成本可忽略」------其实什么都没测。

修法:每次都 new PolicyView(...) 再计时。同理,任何「优化前后对比」如果命中了缓存,结论都作废。

坑 3:拿端到端 P95 比较两条链路,等于在测别的东西

过滤后 P95 一度比不过滤还慢 1.5 倍。原因不是过滤,是对照链路里有题提前降级、少跑了生成。

要证明「过滤不拖慢查询」,只能量检索段------那里两条链路的代码是同一段。

坑 4:把数据造错,然后以为是系统的问题

第一版 2025 版政策写成一整篇、共用一个 valid_to,于是 3 月里「十五日退货」和「七日退货」同时有效。

系统老老实实召回了两条,我则在怀疑「优先级逻辑是不是有 bug」。

时间轴一画出来就看见了。 造数据的时间成本,永远低于怀疑系统的时间成本。


11. 验收

bash 复制代码
cd 教程/W1-W4/ecom-agent-lab
mvn -q -o clean compile && bash selfcheck-c.sh
复制代码
W12 切分对比:通过 19 / 失败 0
W13 混合检索:通过 22 / 失败 0
W14 引用与拒答:通过 22 / 失败 0
W15 政策时效:通过 40 / 失败 0
C 阶段自检:4 个演练通过。

对照计划表:

计划表要求 实测 结论
加 valid_from / valid_to,过期不参与召回 6 篇 / 46 条,时点过滤 + 角色过滤 ✅
活动规则按活动期过滤 三态全对,活动订单回溯到订单日仍正确 ✅
5 条过期政策提问,100% 不再按旧规则回答 0/5 泄漏(对照组 3/5 会错) ✅

报表:w15-timeline.csv(可见性矩阵)、w15-legacy.csv(5 条过期题对照)。

自检清单

  • 我能说清「过滤条件必须是订单日,不是提问日」,并举一个传错就答错的例子
  • 我能解释为什么过滤必须在排序前,以及「取完 top-k 再筛」会表现成什么症状
  • 我知道有效期为什么是双闭区间,半开区间会在哪天出错
  • 我能说清 SLA-4.2 和 PRM 的区别,以及混淆的后果
  • 我能解释 SLA-4.3 的问题为什么不是过期、而是角色
  • 我能说清 V5 与 V6 各自拦什么,以及为什么回溯时同一条款必须放行
  • 我知道为什么「0/5 泄漏」这个数字需要对照组才有意义

还没做的

  • 条款级有效期 :现在是文档级。真实场景里一份文档会被多份新规分批替代,正解是 Chunk 级
    (字段从 W12 就留好了),本工程用拆文档模拟
  • 优先级:同一时点两个版本同时有效时(过渡期常见),谁优先?现在是「不要造出这种数据」
  • 活动期按渠道/品类细分:真实的双 11 规则分预售、现货、不同类目,本周只有一条时间轴
  • 真模型复测:所有数字来自抽取式生成 + hashing 检索,只证明机制,不是准确率

12. 一句话带走的

一条政策的价值,一半在它写了什么,另一半在它什么时候有效。

前者你已经在 W12--W14 做完了:切分、检索、引用、拒答。

后者看起来只是两个日期字段,但它决定了一件事------你敢不敢让这套系统碰历史订单。

售后场景里,历史订单不是边缘情况,它就是主战场。而「按错时点回答」是最难被发现的错误:

所有校验都通过,只有客户知道答案不对。

下一周(W16)把它接进 W6 的五步链「查政策」节点:端到端 30 条 ≥ 88%,

并且要在团队里讲一次 30 分钟。分享是成本最低的转岗面试------听众里就有决策人。

相关推荐
东坡肘子20 分钟前
把「更好」放在「更快」之前 -- 肘子的 Swift 周报 #162
人工智能·swiftui·swift
文丑颜不良啊10 小时前
LeetCode2981~3000题目解析
java·leetcode
黑客笔记10 小时前
python小工具win7翻车事故现场
python
Csvn11 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
nice_lcj52011 小时前
【从零理解 Spring AI · 13】RAG 要解决什么:把“闭卷考试“变成“开卷“
java·spring·检索增强·rag·spring ai·ai应用开发
罗西的思考11 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考11 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
学长毕设12 小时前
基于SpringBoot军事纪念馆管理系统设计与实现-附源码
java·spring boot·后端
汤姆宝库12 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#