做AB实验，本质上是在充满噪声的样本数据海洋里，去精准推断全量总体的真实效应。
当你看到实验组比对照组提升了 1% 时，最先要回答的问题不是"这 1% 能带来多少收益"，而是"这 1% 到底是真实的用户行为改变，还是流量波动带来的随机巧合？"。
这就需要把业务问题翻译成统计学问题。今天我们不谈晦涩的数学推导，直接拆解支撑 互联网工业界AB 实验判决逻辑的三大基石：P值、置信区间 与 T检验
一、P值 (P-value)
1. 概念定义
P值是在原假设（Null Hypothesis, H0H_0H0）为真的前提下，出现当前样本统计量（或更极端情况）的概率。
简单说：如果策略完全无效，纯靠运气跑出当前这个数据的概率有多大？
2. 核心价值 (Why it matters)
它提供了一个标准化的"惊讶程度"量尺。
- P值越小，说明纯靠运气很难发生这种事，我们越有理由怀疑"策略无效"这个假设是错的，从而推导出"策略有效"。
- 它解决了"多大算大、多小算小"的主观判断难题。
3. 常用阈值与判决
在工业界，我们通常预设一个显著性水平（Significance Level, α\alphaα），将P值与之比较：
- α=0.05\alpha = 0.05α=0.05 ：最常用的标准。如果 P<0.05P < 0.05P<0.05，认为结果统计显著 (Statistically Significant)。意味着犯错（把无效当有效）的概率低于 5%。
- α=0.01\alpha = 0.01α=0.01：严格标准。用于高风险场景（如支付流程改动），要求有 99% 的把握并非偶然。
- α=0.10\alpha = 0.10α=0.10：宽松标准。常用于探索性实验或样本量极小的场景，容忍度较高。
4. 容易混淆点
- 误区：P=0.05 意味着策略有 95% 的概率是有效的。
- 正解 ：P值描述的是数据的罕见程度，而不是假设成立的概率。它只能告诉你"证据有多强"，不能直接告诉你"结论有多真"（后者涉及贝叶斯逻辑）。
- 假阳性：即便 P < 0.05，依然有 5% 的概率是误报（Type I Error），这是统计推断无法消除的原生风险。
二、置信区间 (Confidence Interval, CI)
1. 概念定义
在给定的置信水平（Confidence Level, 1−α1-\alpha1−α）下，构造出的一个区间，该区间有一定概率包含总体参数的真实值。
2. 核心价值 (Why it matters)
P值只给了"是/否"的二元判断，置信区间给出了效应量的不确定性范围。
- 它告诉业务方：提升大概率落在 [0.5%, 1.5%] 之间。
- 它能辅助判断业务显著性（Practical Significance）：即使统计显著，如果区间下限是 0.001%，虽然涨了，但涨幅微乎其微，商业上可能无意义。
3. 计算公式
以均值差为例：
CI=(xˉ1−xˉ2)±Z1−α/2×SE CI = (\bar{x}_1 - \bar{x}2) \pm Z{1-\alpha/2} \times SE CI=(xˉ1−xˉ2)±Z1−α/2×SE
- xˉ1−xˉ2\bar{x}_1 - \bar{x}_2xˉ1−xˉ2：点估计值（观测到的差异）。
- Z1−α/2Z_{1-\alpha/2}Z1−α/2：临界值（如 95% 置信度对应 1.96）。
- SESESE：标准误 (Standard Error)，衡量抽样误差的波动。
4. 与P值的联动逻辑
置信区间与假设检验是一体两面的关系：
- 如果置信区间不包含 0 （例如 [0.2%, 0.8%]），则等价于 P<0.05P < 0.05P<0.05，拒绝原假设，认为有显著差异。
- 如果置信区间包含 0 （例如 [-0.1%, 0.5%]），则等价于 P≥0.05P \ge 0.05P≥0.05，无法拒绝原假设。
三、T检验 (Student's t-test)
1. 概念定义
用于检验两个独立样本的均值是否存在显著差异的统计方法，特别适用于总体方差未知的情况。
2. 核心价值 (Why it matters)
它是 AB 实验平台的绝对主力 。
在现实世界中，我们永远无法知道上帝视角的"总体方差"，只能通过样本去估计。T检验专门为此设计，通过引入自由度（Degrees of Freedom）来修正小样本带来的估计偏差。
3. 核心公式 (双样本T检验)
t=xˉ1−xˉ2s12n1+s22n2 t = \frac{\bar{x}_1 - \bar{x}_2}{\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}} t=n1s12+n2s22 xˉ1−xˉ2
- ttt：T统计量，数值越大（绝对值），表示组间差异相对于噪音越大。
- xˉ1,xˉ2\bar{x}_1, \bar{x}_2xˉ1,xˉ2：实验组和对照组的样本均值。
- s12,s22s_1^2, s_2^2s12,s22：样本方差（Sample Variance），这是T检验的核心，用样本波动代替总体波动。
- n1,n2n_1, n_2n1,n2：样本量。
4. 变量交互逻辑
- 分子是信号：两组均值差越大，t值越大。
- 分母是噪音：方差越大或样本量越小，分母越大，t值越小（越难显著）。
- 样本量红利 ：随着 nnn 增大，分母迅速变小，微小的差异也能被检测出显著（t值变大）。
5. 使用要求
- 样本独立性（用户不能既在A组又在B组）。
- 总体服从正态分布（但在大数据下，根据中心极限定理，只要样本量够大，均值分布趋于正态，该条件自然满足）。
四、Z检验 (Z-test) 与 工业界的选择
1. 概念定义
基于正态分布理论，用于检验均值差异的方法。
2. 与T检验的关键区别
| 维度 | Z检验 (Z-test) | T检验 (T-test) |
|---|---|---|
| 前提条件 | 必须已知总体方差 (σ2\sigma^2σ2) | 总体方差未知 ，使用样本方差 (s2s^2s2) 估计 |
| 样本量敏感度 | 适用于大样本 | 大小样本通吃 |
| 分布形态 | 标准正态分布 | t分布 (样本越大越接近正态分布) |
3. 为什么工业界基本只用 T 检验？
在互联网 AB 实验中，请直接忽略 Z 检验，原因如下：
- 上帝参数不可得 ：我们永远不知道总体的真实方差 σ2\sigma^2σ2。既然只能用样本方差 s2s^2s2 去代替，从理论定义上这就变成了 T 检验。
- 大数定律的收敛 ：当样本量 nnn 很大时（互联网实验动辄几万、几百万样本），t分布会无限逼近正态分布，T 检验的结果和 Z 检验几乎完全一致。
- 鲁棒性：工业界的指标（如人均时长、点击率）总体分布往往不是正态的，但得益于样本量巨大，均值抽样分布满足正态性。
结论：
- 如果样本量大，T 检验 ≈\approx≈ Z 检验，用 T 没问题。
- 如果样本量小且总体方差未知，必须用 T 检验。
- 工业界最佳实践 ：直接无脑上 Welch's t-test（T检验的一种变体），它甚至不需要假设两组方差相等，是最稳健的选择。
4. 特殊情况
如果你遇到了极端的长尾分布、或者样本量极小且不满足正态假设的场景（例如分析极少数的高净值大R用户），这时候 Z 检验更是派不上用场。你应该去寻找非参数检验（如 Mann-Whitney U Test），而不是纠结于 Z 还是 T。