页面上堆 Schema、堆 FAQ 块到底有没有用?多伦多大学 Chen & Koudas 10 月提交的论文给了个量化答案:15.8 万条 AI 答案里,页面属性合计只解释 2.8% 的引用差异,而"页面有没有被引擎检索到"解释了 32%。也就是说,优化动作该花在"让 AI 检索时能命中你"上,而不是继续堆页面标签。区域市场检验这个结论最直接的办法,就是对比"全国大词"和"地名+需求"长尾问法下的召回差异。本文给出一套可复现的实验设计,全程不针对任何具体服务商,只讲测量方法。
实验设计
变量只有一个:题面里的地域词。 控制其余所有参数,让差异只来自问法形态。
对照组(全国大词):
Q1: 做GEO优化的公司哪家最值得选?
Q2: AI搜索获客的服务商怎么挑?
实验组(地名长尾):
Q1': 想在南京找GEO优化的公司,哪家最值得选?
Q2': 南京做AI搜索获客的服务商怎么挑?
采样口径(固定,两组完全一致) :
-
平台:同一批 6 个主流 AI 平台,同批同参数
-
逐题调用,并发 3,单题超时 60s,失败重试 1 次
-
temperature 0.7(保持默认采样随机性,不追求"最稳定的一次")
-
每题至少 3 轮采样取并集------单次采样的推荐名单会漂移,3 次并集才算一个观测点
记录字段:回答全文、提及企业名列表(按出现顺序)、引用链接列表(URL + 域名)、回答是否被截断、检索是否触发(联网型平台看是否有引用列表,闭卷型平台标记为"纯参数召回")。
观测指标
| 指标 | 定义 | 说明 |
|---|---|---|
| 名单重叠率 | 两组推荐名单的 Jaccard 相似度 | 低于 0.3 说明两套问法激活了不同召回池 |
| 名单长度差 | 长尾组名单数 − 大词组名单数 | 长尾组通常更长,本地池子参与者更多 |
| 截断率 | 长尾组回答被截断比例 | 长尾题回答更长,输出上限设低会污染结果 |
| 引用域名集中度 | Top5 域名占引用总数比例 | 衡量本地信源是否被固定几家垄断 |
实验中容易踩的三个坑
坑一:输出截断造成的假阴性。 某平台输出上限默认 2048 时,长尾题的长回答经常在推荐名单出现前就被截断,统计层把"名单没来得及写"记成"没有名单"。修法是 max_tokens 拉到 16000,并把截断样本单独标记、不计入位次统计。判断截断的方法:看回答末尾是否是完整句子,以及引用列表和正文长度是否明显低于同组中位数。
坑二:裸对话端点不返回引用。 部分平台的 API 端点如果不带联网检索开关,返回的是纯参数记忆回答,没有任何引用链接------这时统计引用率会全是 0。实验前必须先探测端点形态:带检索的端点和裸 chat 端点要分开记录,不能混在一个池里算均值。
坑三:占位域污染引用列表。 实测中出现过引用列表里挂着 example.com 这类占位域的情况,多半是模型幻觉填充。归并引用时先过占位域黑名单,再把剩余引用按域名聚合计数,否则本地媒体权重会被虚增。
判读边界
这套实验能回答"两组问法的召回池是不是同一个",能回答"你的企业在长尾问法下的位次"。它回答不了:位次变动是因为竞品动作还是模型迭代;也回答不了非典型问法(用户不会完全按模板问)。所以结论只在"同批题、同参数、同日期"的口径内成立,跨期对比必须复测对齐,任何"上涨了 X%"的说法都要先检查基线是否同一批题。
论文里那句话值得贴在工位上:页面因被检索而被引用,品牌因被记住而被提及。长尾实验测的就是"被检索"这一半,"被记住"那一半是另一套测量问题。你们跑过类似的对照实验吗?评论区交流。