P-Value & E-value
一、什么是P-value & E-value
P-value是假设检验（hypothesis test）下最常用的指标。其定义为：在原假设（ Null Hypothesis， H 0 \text{Null Hypothesis}，H_0 Null Hypothesis，H0）为真前提下，样本观测结果或更极端结果的概率。
通俗一点来说，如果原假设（ H 0 H_0 H0）是真的,那么我们得到现有手头上数据的概率应该是多大。举个例子，令原假设 H 0 : 一枚硬币是公平的 H_0:\text{一枚硬币是公平的} H0:一枚硬币是公平的，那我们得到手头上这个样本数据（假设样本数据是9个正面和1个反面）的可能性有多大。
- P-value很小 （通常小于一个预设的显著性水平 α \alpha α）：说明在原假设下，观测到的数据是非常罕见的。因此，我们有理由拒绝原假设。
- P-value很大（反之）：说明在原假设下，观测到的数据并不意外。因此我们不需要拒绝原假设，即接受原假设，认为原假设是正确的。
E-value是一种较新的用于衡量统计证据的指标。它的定义是：一个非负随机变量 E E E ，在原假设（ H 0 H_0 H0）成立的情况下，满足
E ( E ) ≤ 1 \mathbb{E}(E) \le 1 E(E)≤1
简单的来说，E-value表示你手里的数据在多大程度上（多少倍）支持备择假设而不是零假设。
- E-value很小 (例如 e > 10)：可以被看作是反对原假设的有力证据。想象一下，你参与一个游戏，规则是如果原假设为真，你平均只能拿回1块钱或更少。但你实际玩了一次就拿到了10块钱，这会让你强烈怀疑"游戏规则"（即原假设）的真实性。
- E-value很大 (例如 e < 1)：表示证据不支持拒绝原假设。
二、关于E-value的解释
在简单讲完E-value的定义之后，我们来讲一下几个容易混淆的知识点。我们首先举一个简单计算E-value的例子。
**场景：**我们想检验一枚硬币是否是公平的。我们怀疑它偏向于正面。
假设：
- 原假设 H 0 H_0 H0：硬币是公平的，即扔出正面的概率 p=0.5。
- 备择假设 H 1 H_1 H1:硬币偏向正面，我们选择一个具体的备择点，比如 p=0.8。
实验： 我们扔硬币5次，观测到4次正面（H）和1次反面（T）。
我们的核心目标就是构造E-value 。一个非常常见的构建e变量的方法是使用似然比（Likelihood Ratio）。我们将备择假设下的似然（Likelihood）除以原假设下的似然。
-
计算原假设 H 0 H_0 H0 下的似然 L 0 L_0 L0:
观测到4正1反的概率是:
L 0 = P ( 数据 ∣ H 0 ) = ( 5 4 ) ⋅ ( 0.5 ) 4 ⋅ ( 0.5 ) 1 = 5 ⋅ 0.0625 ⋅ 0.5 = 0.15625 L_0 = P(\text{数据} | H_0) = \binom{5}{4} \cdot (0.5)^4 \cdot (0.5)^1 = 5 \cdot 0.0625 \cdot 0.5 = 0.15625 L0=P(数据∣H0)=(45)⋅(0.5)4⋅(0.5)1=5⋅0.0625⋅0.5=0.15625 -
计算备择假设 H 1 H_1 H1 下的似然 L 1 L_1 L1:
观测到4正1反的概率是:
L 1 = P ( 数据 ∣ H 1 ) = ( 5 4 ) ⋅ ( 0.8 ) 4 ⋅ ( 0.2 ) 1 = 5 ⋅ 0.4096 ⋅ 0.2 = 0.4096 L_1 = P(\text{数据} | H_1) = \binom{5}{4} \cdot (0.8)^4 \cdot (0.2)^1 = 5 \cdot 0.4096 \cdot 0.2 = 0.4096 L1=P(数据∣H1)=(45)⋅(0.8)4⋅(0.2)1=5⋅0.4096⋅0.2=0.4096 -
定义e变量E并计算其观测值(e-value):
我们的e变量E就是似然比 E = L 1 L 0 E = \frac{L_1}{L_0} E=L0L1。
对于我们观测到的数据，其e-value计算如下:
e − v a l u e = L 1 L 0 = 0.4096 0.15625 ≈ 2.62 e-value = \frac{L_1}{L_0} = \frac{0.4096}{0.15625} \approx 2.62 e−value=L0L1=0.156250.4096≈2.62
结果：我们得到的e-value约为2.62。这个值大于1，提供了反对原假设（硬币是公平的）的证据。我们可以将其解释为：相对于"硬币公平"的假设，我们的观测数据在"硬幣正面概率为0.8"的假设下，可能性是前者的2.62倍。
2.1 E-value (观测值) vs. E-variable (随机变量) 的期望
- e-value ：是我们根据一次具体的实验数据 （例如"5次投掷，4正1反"）计算出来的一个具体的数值。在我们的例子里，这个数值就是2.62。
- e-variable ：是一个随机变量，是一个函数或规则。它本身不是一个固定的数，它的值取决于实验的结果。对于"5次投掷"这个实验，它所有可能的结果（0正5反, 1正4反, ..., 5正0反）都会分别对应一个e-value。
2.2 对每个问题都重新证明 E ( E ) ≤ 1 \mathbb{E}(E) \le 1 E(E)≤1吗？
答案是不需要。我们只要使用似然比检验的方法来计算E-value，那我们可以确保这个E-value的期望是一定等于1。例证如下：
期望的计算公式为： E H 0 [ E ] = ∑ E_{H_0}[E] = \sum EH0[E]=∑ 所有可能结果 E ( E( E(结果 ) ⋅ P ( ) \cdot P( )⋅P(结果 ∣ H 0 ) |H_0) ∣H0)
其中， E ( E( E(结果 ) = P ( 结果 ∣ H 1 ) P ( 结果 ∣ H 0 ) ) = \frac{P(结果|H_1)}{P(结果|H_0)} )=P(结果∣H0)P(结果∣H1)
所以， E H 0 [ E ] = ∑ E_{H_0}[E] = \sum EH0[E]=∑ 所有可能结果 P ( 结果 ∣ H 1 ) P ( 结果 ∣ H 0 ) ⋅ P ( 结果 ∣ H 0 ) \frac{P(结果|H_1)}{P(结果|H_0)} \cdot P(结果|H_0) P(结果∣H0)P(结果∣H1)⋅P(结果∣H0)
我们可以看到， P ( P( P(结果 ∣ H 0 ) |H_0) ∣H0) 这一项可以被约掉：
E H 0 [ E ] = ∑ E_{H_0}[E] = \sum EH0[E]=∑ 所有可能结果 P ( 结果 ∣ H 1 ) P(结果|H_1) P(结果∣H1)
这个公式的含义是：在原假设 H 0 H_0 H0 下对 E E E 变量求期望，等于把备择假设 H 1 H_1 H1 下所有可能结果的概率加起来。而根据概率公理，任何一个概率分布，其所有可能结果的概率之和必然等于1。
因此：
E H 0 [ E ] = 1 E_{H_0}[E] = 1 EH0[E]=1
这就证明了我们构造的这个随机变量满足 E [ E ] ≤ 1 E[E] \leq 1 E[E]≤1 的条件，它确实是一个合格的 E E E 变量。
三、E-value与P-value之间的关系
首先我们对E-value定义了以下式子：
E ( E ) ≤ 1 \mathbb{E}(E) \le 1 E(E)≤1
我们利用马尔可夫不等式（不等式结构如下）：
P ( X ≥ a ) ≤ E [ X ] a P(X\geq a)\leq\frac{E[X]}a P(X≥a)≤aE[X]
于是得到：
Pr ( E ≥ 1 / α ) ≤ α E [ E ] ≤ α \Pr(E \geq 1/\alpha) \leq \alpha \mathbb{E}[E] \leq \alpha Pr(E≥1/α)≤αE[E]≤α
最后推出：
Pr ( E < 1 / α ) ≥ 1 − α \Pr(E < 1/\alpha) \geq 1 - \alpha Pr(E<1/α)≥1−α
完整公式如下：
Pr ( E < 1 / α ) = 1 − Pr ( E ≥ 1 / α ) ≥ 1 − α E [ E ] ≥ 1 − α \Pr(E < 1/\alpha) = 1 - \Pr(E \geq 1/\alpha) \geq 1 - \alpha \mathbb{E}[E] \geq 1 - \alpha Pr(E<1/α)=1−Pr(E≥1/α)≥1−αE[E]≥1−α
其中：
- P ( E < 1 / α ) P(E<1/\alpha) P(E<1/α): 表示e变量E的值小于某个阈值 1 / α 1/\alpha 1/α的概率。
- ≥ 1 − α \geq 1-\alpha ≥1−α: 整个公式的核心结论是，这个概率至少是 1 − α 1-\alpha 1−α。
对于公式（6）而言，我们可以理解成 e e e变量的值不太可能变得非常大。具体来说，它大于等于 1 / α 1/\alpha 1/α的概率不会超过 α \alpha α（即 P ( E ⩾ 1 / α ) ⩽ α P(E \geqslant 1/\alpha) \leqslant \alpha P(E⩾1/α)⩽α）。