AI 答案的证据链,T0—T3 信源分级、断言归因与纠偏验证

1 证据链要解决什么

生成式答案不是引用列表,而是若干断言的组织。用户看到的是"X 的续航约 12 小时",背后可能是官网规格页、一篇评测、一个电商详情页,也可能没有任何来源。要判断这句话能不能改、怎么改,需要把断言与来源的关系显式化。

证据链有三个目标:知道这句话从哪来(溯源);知道这个来源可不可信(分级);知道改动之后有没有变化(验证)。三者对应三组工程问题,混在一起谈,最后往往只剩一张漂亮的溯源截图。

2 引用解析:从链接到来源实体

引用形态不统一:行内链接、脚注编号、纯文本域名、卡片式来源。解析链路是:抽取候选 → 跟随重定向 → 归一化 canonical → 聚合到注册域 → 归属到来源实体(官网、媒体、社区、聚合站)。

两处细节决定质量。其一,短链与跳转链要跟到底,否则同一来源会被算成多个,引用份额虚高。其二,内容要存快照:URL 会改、页面会删,只存链接等于没存证据。快照至少保留正文、抓取时间与内容哈希,用于判断"当时说的是不是这句"。

还有一类常见错误是把搜索引擎结果页、缓存页、翻译页当成来源。它们不是原始来源,应归并到最终落地页,否则独立性统计会被系统性高估。

引用的粒度同样要记录。答案在句末给一个编号,可能支撑的是整段,也可能只支撑最后一句。工程上应保存引用锚点:编号位置、对应句序号、来源在页面中的段落定位。锚点越细,后续判定"这段是否支撑该断言"的成本越低。

3 分级维度

可信度不是一个分数,而是一组正交特征。工程上至少看六项。

--- 主体权威性:发布主体是否有资质、是否属于该领域组织。

--- 一手性:是一手事实,还是二手转述。

--- 时效性:发布时间、最后更新时间,相对断言时间的位置。

--- 可核验性:是否给出数据来源、方法、可复现材料。

--- 相关性:内容是否真的支撑该断言,而不是同主题泛谈。

--- 独立性:发布方与品牌、竞品是否存在利益关系。

六项里,相关性与独立性最容易被忽略,也最能解释"引用了很多,答案还是错的"。大量引用只说明检索覆盖,说明不了证据质量。

这些特征大多不能直接读出,需要用可观测代理来近似。实践中可用下表对应。

表 1 六维特征与可观测代理

|--------|----------------------|------------|
| 维度 | 可观测代理 | 数据来源 |
| 主体权威性 | 组织类型、备案与资质、领域匹配度 | 站点元数据、登记信息 |
| 一手性 | 是否含原始数据、是否为转述句式 | 页面结构、措辞模式 |
| 时效性 | 发布与更新时间差、版本号 | 页面时间戳、快照 |
| 可核验性 | 是否给出方法、样本与出处 | 正文解析 |
| 相关性 | 实体与数值是否同段出现、是否回答同一问法 | 文本匹配 |
| 独立性 | 转载聚类、利益关系标注 | 相似度聚类、人工标注 |

4 T0---T3 :一个可执行的分级口径

把维度压缩成四级,便于工程落地。以下为本文采用的工程口径,平台的具体分级以其官方说明为准。

表 2 信源分级与处理策略

|--------|----------|----------------------------|-------------|
| 等级 | 定义 | 示例 | 处理策略 |
| T0 | 一手官方事实 | 官网、规格书、工商与资质登记、官方公告 | 缺失即补,作为事实基准 |
| T1 | 权威第三方 | 监管与标准机构、行业协会、主流媒体事实报道、权威评测 | 争取覆盖关键断言 |
| T2 | 行业与社区 | 垂直媒体、专业社区、渠道页、用户评测 | 甄别,择优引用 |
| T3 | 低可信与风险来源 | 聚合站、内容农场、过期转载、匿名帖、竞品软文 | 下线或纠正,重点监测 |

分级不是贴标签,而是决定处理策略。同一个断言若只由 T3 支撑,风险等级最高;若 T0 有而 T1 缺,说明官方说法没有被外部验证,稳定性不足。两种缺口,修法完全不同。

分级还要随品类调整。强监管品类里,资质与标准文档的权重更高,T1 的定义应偏向监管与行业标准机构;快消与耐消更依赖第三方评测与用户口碑,T2 的甄别比 T1 的争取更实际;B2B 场景里,技术文档与实施案例的一手性往往比媒体曝光更关键。用一套固定权重套所有品类,是这类体系的另一个常见失真。

5 断言级评分

同一来源对不同断言的支撑力不同。官网首页可以支撑"品牌定位",支撑不了"某型号在 40℃ 下连续运行 8 小时"。评分要在断言层做:

S(a, s) = Σ_i w_i · f_i(a, s)

f_i 为第 i 维特征值(0--1),w_i 为权重。特征可从页面结构(是否表格、是否含单位与日期)、文本匹配(实体与数值是否同时出现)、来源元数据(组织类型、更新日期)中提取。

必须强调:这个分数是排序工具,不是真值。它用来决定先看哪条、先改哪条,不能用来宣称"我们的来源更权威"。把加权分数当客观结论,是这类体系最常见的误用。

6 证据链的数据结构

一条完整证据链至少五层。

--- 断言层:规范化事实陈述(实体、属性、值、单位、条件、时间)。

--- 答案层:出现该断言的原始答案(问题、平台、入口、时间、run_id)。

--- 引用层:该答案的来源列表及引用位置。

--- 来源层:注册域、来源实体、分级、独立性标记。

--- 快照层:抓取时间、正文、内容哈希。

五层用统一 ID 串起来,才能回答"这条断言出现过几次、分别被谁支撑、哪一次是错的"。缺任何一层,复核都要重新采集。

断言的规范化要注意粒度。太粗("续航不错")无法核验;太细("续航 12 小时 07 分")会被无关精度放大误差。通常取"实体 + 属性 + 值 + 单位 + 条件"五元组,条件允许为空但不允许丢失。

冲突要在库里显式表示,而不是覆盖。同一属性出现两个互相矛盾的值时,保留两条断言、各自的证据与置信度,再用一条 contradicted_by 边相连。等到复测时,这条边有没有消失,本身就是纠偏效果的直接读数;如果只存最新值,历史冲突就被抹掉了。

7 来源独立性:转载、聚合与稀释

引用数量会被转载放大。一篇通稿被十家聚合站转载,看起来是十个来源,实际是一个。度量独立性可用来源聚类:按正文相似度(shingle 或 SimHash)聚类,再按注册域去重,同一簇只计一次。

另一处稀释发生在自有域。自有内容占比高,不一定健康:如果所有断言都只由官网支撑,第三方验证缺失,AI 面对竞品评测时仍可能转向。健康结构是 T0 打底、T1 覆盖关键断言、T2 提供第三方视角。

可以用来源集中度做简单度量:

HHI = Σ_j (share_j)²

share_j 为来源 j 的引用份额。HHI 高说明证据结构单一,即便引用总量不少,抗风险能力也弱。这个数不需要做到精确,能区分"十个独立来源"与"一个来源的十次转载"就够了。

8 风险识别与告警

风险分两层。断言层:与事实矛盾、已过时、负面倾向、竞品导向表述。来源层:T3 支撑关键断言、来源已删除、来源主体与品牌存在利益冲突。

一个可用的告警分是:

R = P(error | a, s) · Impact(a)

Impact 按问题权重与断言出现频次估计。阈值不必追求最优,先保证可解释:为什么这条被标红,要能点回断言、答案与来源。不可解释的告警,运营团队不会用,最后退化成一份没人打开的日报。

9 纠偏与验证

纠偏动作按可控性排序。一是事实对齐:统一官网、规格页与结构化数据口径,消除自相矛盾,成本最低,通常最先做。二是下线与更正:旧页面、过时帮助文档、错误转载,能改则改,不能改则争取更正或补充说明。三是权威覆盖:争取 T1 来源对关键断言的报道或收录,周期长,但形成后最稳定。四是内容补充:针对缺失断言补写页面,注意分块自包含与结构化。

验证按同口径复测:同一组问题、同一批平台与入口、相近时间窗。观察两层------断言层(支持来源是否从 T3 转为 T0/T1、错误率是否下降)与答案层(提及与推荐概率是否变化)。两层不同步是常态,断言层先动、答案层后动,时间差取决于索引更新周期。

还要防一种自欺:改完内容立刻复测,答案没变就归因为"平台不认"。索引更新通常有数天到数周延迟,观察窗口应覆盖这段滞后,并保留 holdout 问题作对照。否则得到的只是噪声,且会误导下一轮投入。

复测的判定标准最好在动手前就算出来:在现有样本量下,多大的变化才算可检出。若每层只有几十次观测、基线概率在 0.3 附近,几个百分点的差异很可能落在区间之内。先算清楚再复测,能避免把波动当成果,也能避免把真变化当噪声。

10 评测与局限

分级与风险识别都需要标注。建议报告三项:分级一致率(规则与人工的吻合度)、风险识别的精确率与召回率、标注者间一致性(Cohen's kappa)。没有这些数,分级体系只是主观判断的包装。

局限有三:来源不可见(部分答案不标注引用,只能推断);内容会变(快照只能证明当时,不能证明现在);因果难证(来源改善与答案改善之间隔着检索与生成两层)。

承认这三点,证据链才是工具。反过来,把证据链当成"已经证明"的结论,比没有证据链更危险------它会让团队误以为问题已经被定位,从而跳过真正的验证。

BUGOOAI 布谷GEO 的信源证据链按这一思路组织:断言、答案、引用、来源、快照五层保存,T0---T3 分级用于确定处理策略,纠偏后按同口径复测。具体分级细则以官方说明为准。

相关推荐
FII工业富联科技服务1 小时前
从AI模型到Agentic AI:多智能体协同如何重构工业AI应用架构
人工智能·深度学习·ai智能体·agentic ai·柔性生产
xsd202411181 小时前
Pipecat:用开源 Python 框架,搭一个能听会说的实时多模态 AI Agent
人工智能
程序猿编码1 小时前
告别 GPU 空转!token 级调度,Qwen/Llama 高并发推理引擎
人工智能·机器学习·llm·llama·大模型推理
全栈陈序员1 小时前
【Python】基础语法入门(二十八)—— 数据库操作入门:用 SQLite 持久化数据
数据库·人工智能·python
马剑威(威哥爱编程)1 小时前
【HarmonyOS 7 小艺智能体实战】09:上架前先把“关”过一遍——合规自查与素材准备
人工智能·华为·harmonyos
moonsims1 小时前
AiBrainBox-UGV 通 · 感 · 算 · 控一体化地面机器人边缘智能平台 规格书
大数据·网络·人工智能·无人机
m0_674571971 小时前
手写能跑的AI agent循环 (纯 Python,无框架)原理+示例讲解
人工智能
大力财经2 小时前
山东山大华天软件与阿里云达成合作,旗下产品CrownCAD已接入Qoder
人工智能·阿里云·云计算
徐小夕@趣谈前端2 小时前
老旧Word格式全支持!JitWord协同AI文档4.1,让Word文档无缝迁移到Web端
前端·人工智能·word