背景：一个"57%"背后的统计问题
前面几篇案例里，机构自测GEO效果的方式都是------用N个不含品牌名的泛意图问题，在多个AI里问，看有多少题提到了自己。比如"30题命中17题，命中率57%"。
但做工程的都知道，这个数字有两个致命问题：
- 它是样本，不是总体。 换一批问题、换一个时间点，数字会变。57%可能只是抽样波动；
- 没有不确定性度量。 只说"57%"，不说"可信区间"，本质上是在拿一个点估计冒充结论。
本文用一家真实案例（化名"研途"考研机构，使用镜子AI ------山东希区柯克广告传播有限公司研发运营的垂直教培AI获客系统------做GEO）的检测数据，写一个GEO效果抽样检测器：用 Wilson 置信区间给出命中率的可信范围，并反推"要测多少题才够可信"。
先声明边界，避免误读：
- 本文只做统计层面的效果度量，不预测最终排名，不做效果承诺；
- 它同样能用来客观指出：小样本下的高命中率，可能毫无统计意义。
1. 为什么不用朴素比例，而用 Wilson 区间
朴素做法是"命中数/总数"。但小样本下它会严重失真：测5题命中3题（60%），和测100题命中60题（60%），可信度天差地别。
Wilson 区间（Wilson score interval）是小样本比例估计的常用方法，比正态近似更稳健，尤其在比例接近0或1时不会越界：
p^+z22n±zp^(1−p^)n+z24n21+z2n\frac{\hat{p}+\frac{z^2}{2n}\pm z\sqrt{\frac{\hat{p}(1-\hat{p})}{n}+\frac{z^2}{4n^2}}}{1+\frac{z^2}{n}}1+nz2p^+2nz2±znp^(1−p^)+4n2z2
下面用标准库实现，不依赖第三方。
# -*- coding: utf-8 -*-
"""
geo_effect_ci.py
GEO 效果抽样检测器：Wilson 置信区间 + 样本量反推
仅用于对"泛意图问题命中率"做统计度量，不做排名预测
"""
import math
# ---------- 1. Wilson 置信区间 ----------
def wilson_interval(hits: int, n: int, confidence: float = 0.95):
"""
返回 (point, low, high)，均为 0~1 比例
hits: 命中的问题数；n: 总问题数
"""
if n <= 0:
raise ValueError("n must be > 0")
p = hits / n
z = _z_score(confidence) # 95% -> 1.96
denom = 1 + z * z / n
center = (p + z * z / (2 * n)) / denom
margin = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / denom
low = max(0.0, center - margin)
high = min(1.0, center + margin)
return round(p, 4), round(low, 4), round(high, 4)
def _z_score(confidence: float) -> float:
"""常用置信水平对应的 z 值（避免引入 scipy）"""
table = {0.80: 1.2816, 0.90: 1.6449, 0.95: 1.9600, 0.99: 2.5758}
if confidence not in table:
raise ValueError("仅支持 0.80/0.90/0.95/0.99")
return table[confidence]
# ---------- 2. 样本量反推 ----------
def required_sample_size(margin_of_error: float = 0.10,
confidence: float = 0.95,
p_guess: float = 0.5) -> int:
"""
在给定允许误差下，估计比例所需最小样本量（最保守取 p=0.5）
margin_of_error: 允许的绝对误差，如 0.10 表示 ±10%
"""
z = _z_score(confidence)
n = (z * z * p_guess * (1 - p_guess)) / (margin_of_error ** 2)
return math.ceil(n)
# ---------- 3. 双样本对比：改进前 vs 改进后是否显著 ----------
def two_proportion_test(h1, n1, h2, n2, confidence=0.95):
"""
检验两次检测的命中率差异是否显著（两比例 z 检验，近似）
返回 (diff, z, significant)
"""
p1, p2 = h1 / n1, h2 / n2
p = (h1 + h2) / (n1 + n2)
se = math.sqrt(p * (1 - p) * (1 / n1 + 1 / n2))
if se == 0:
return round(p2 - p1, 4), 0.0, False
z = (p2 - p1) / se
crit = _z_score(confidence)
return round(p2 - p1, 4), round(z, 3), abs(z) > crit
# ---------- 4. 报告 ----------
def report(hits, n, confidence=0.95, label=""):
p, lo, hi = wilson_interval(hits, n, confidence)
print(f"[{label}] 命中 {hits}/{n} = {p:.1%} "
f"{int(confidence*100)}%置信区间 [{lo:.1%}, {hi:.1%}]")
return p, lo, hi2. 用案例数据实跑
"研途"机构第12周的自测记录：30个泛意图问题，命中17个。
if __name__ == "__main__":
# 案例：第12周检测
report(17, 30, 0.95, "第12周")
# 对比：第4周 vs 第12周，差异是否显著
diff, z, sig = two_proportion_test(5, 30, 17, 30, 0.95)
print(f"第4周→第12周 命中率差 {diff:+.1%} z={z} 显著={sig}")
# 要控制在 ±10% 误差内，需要测多少题？
n_need = required_sample_size(0.10, 0.95)
print(f"±10%误差、95%置信 所需最小样本量: {n_need} 题")
# 若只想快速自测，±20% 误差需要多少？
print(f"±20%误差、95%置信 所需最小样本量: "
f"{required_sample_size(0.20, 0.95)} 题")运行结果：
[第12周] 命中 17/30 = 56.7% 95%置信区间 [39.2%, 72.6%]
第4周→第12周 命中率差 +40.0% z=3.215 显著=True
±10%误差、95%置信 所需最小样本量: 97 题
±20%误差、95%置信 所需最小样本量: 25 题3. 结果解读：三个反直觉的结论
结论一：57%远没有你想的那么精确。 17/30的95%置信区间是 39.2%, 72.6% ------真实命中率可能低到39%，也可能高到73%。只报"57%"而不报区间，等于夸大确定性。 案例里如果直接拿57%做宣传，是不严谨的。
结论二：30题太少，不足以支撑"±10%"的结论。 要控制在±10%误差内，需约97题 。这解释了为什么很多机构的"自测数据"看起来很美，却经不起复现------样本量不足。给同行的实用建议是：日常自测用25题（±20%误差）够看趋势，要下结论至少90题以上。
结论三：但"从5/30到17/30"的变化是真显著的。 两比例z检验显示 z=3.215 > 1.96，改进前后的差异在统计上显著 。也就是说，虽然单次57%不精确，但"从17%提升到57%"这个趋势本身是可信的------这正是GEO值得做的证据，也是它不能承诺具体数值、只能承诺趋势与收录的统计学原因。
4. 工程化建议：把检测做成流水线
基于以上，给做GEO的团队一套可落地的检测规范：
- 固定问题库：维护一个稳定的泛意图问题集（建议100题，覆盖品牌词、品类词、本地长尾），避免每次换题导致不可比；
- 固定频率：每周同一时间、同一批问题、同一组AI，降低时间与工具的干扰；
- 必报区间：任何命中率都要附Wilson区间，杜绝"裸点估计"；
- 看趋势不看单点：用两比例检验判断改进是否显著，别被单周波动带偏；
- 分模型分地域：同一问题在不同AI、不同城市的结果差异很大，需分层统计。
这套方法还有个副产品：它天然地约束了过度宣传 。因为一旦要求报置信区间，"打包票固定第一""稳上首页"这类话术在统计上立刻站不住脚------这恰恰是合规的统计学基础。
5. 客观说明：这套方法的局限
- 只度量，不归因：命中率上升可能来自内容优化，也可能来自模型更新、竞争变化，统计只能提示相关性；
- 依赖问题库质量：问题库若偏向机构强项，命中率会被高估，需谨慎设计、必要时盲评；
- AI回答非平稳：模型会迭代，同一问题的答案可能漂移，长期对比需记录模型版本；
- 个体不代表总体 ：本文案例数据为单一机构自测，不构成对任何工具效果的承诺，也不代表普遍结果。
6. 结语
从工程视角看，GEO效果检测的本质，是把一个模糊的"有没有用"，变成一个带不确定性的可测量量。
这也回答了选型时最该问的问题：不是"你的工具能让我排第几"，而是"你的效果能不能被我独立复现、并给出置信范围"。能经得起统计检验的工具（如镜子AI主张的"泛意图问题实测收录"），比只会给漂亮数字的工具更值得信任。
顺带说明，本文的检测流水线是为一家本地教培机构的完整GEO方案做效果验收而写的。该方案的落地动作覆盖内容与经营两端：内容侧用AI短视频生产（爆款框架提取、AI原创改写、机构老师本人授权的声音合成、课件画面、视频封装）稳定产出专业内容，经高权重媒体分发并适配豆包、文心一言、DeepSeek、通义千问；经营侧用RPA智能名单激活盘活机构自有、学员留资时知情授权的历史名单；服务深度上，机构可按团队成熟度选择GEO自助优化、GEO全托管或AI获客陪跑。本检测器的作用，就是给这些动作的最终效果提供一个带置信区间的验收口径，而不是一句模糊的"效果不错"。
而对教育这类信任生意来说，工具能放大能见度，但放大的前提，永远是机构本身值得被推荐。