期望的最大值与最大值的期望
先上结论: m a x i E [ X i ] ≠ E [ m a x i X i ] max_i \mathbb{E}[X_i]\neq \mathbb{E}[max_i X_i] maxiE[Xi]=E[maxiXi]
情况一：最大值和数学期望都关于自变量 i i i
在这种情况下，最大值与期望都依赖于同一个随机变量。设有一个随机变量 X i X_i Xi，其中 i i i 是一个离散的索引集合，例如 i = 1 , 2 , ... , n i = 1, 2, \dots, n i=1,2,...,n。
1.最大值的期望
假设我们有 n n n 个独立同分布的随机变量 X 1 , X 2 , ... , X n X_1, X_2, \dots, X_n X1,X2,...,Xn，我们关心的是它们的最大值的期望。
E [ max ( X 1 , X 2 , ... , X n ) ] = E [ max i X i ] \mathbb{E}\left[\max \left(X_1, X_2, \ldots, X_n\right)\right]=\mathbb{E}\left[\max _i X_i\right] E[max(X1,X2,...,Xn)]=E[imaxXi]
- 期望的最大值
另一种情况是先计算每个随机变量的期望，然后取这些期望的最大值.
max i E [ X i ] \max _i \mathbb{E}\left[X_i\right] imaxE[Xi]
如果 X i X_i Xi 的分布相同，则有:
max i E [ X i ] = E [ X ] \max _i \mathbb{E}\left[X_i\right]=\mathbb{E}[X] imaxE[Xi]=E[X]
但通常情况下,该条件不成立.
情况二：最大值关于非自变量，期望关于自变量
在这种情况下，最大值是关于一个非自变量的，而期望是关于自变量的。举个例子，假设我们有一个固定的随机变量 v v v，然后我们对一组随机变量 X i X_i Xi（ i i i 是自变量）进行最大化操作。
1.最大值的期望
这里的最大值是关于一个常数变量 v v v 的。数学表达式为：
max v E [ X i ] \max _v \mathbb{E}\left[X_i\right] vmaxE[Xi]
- 期望的最大值
在这种情况下，期望是关于自变量 i i i 的，而最大值则是关于常数 v v v 的：
E [ max v X i ] \mathbb{E}\left[\max _v X_i\right] E[vmaxXi]
下面给出一个反例,说明期望的最大值不等于最大值的期望:
假设有两个节点 v 1 v_1 v1 和 v 2 v_2 v2，每个节点的函数 L v ( x i ) L_v(x_i) Lv(xi) 是随机变量的函数。考虑以下情况：
假设
-
设 L v 1 ( x i ) = x i L_{v_1}(x_i) = x_i Lv1(xi)=xi 和 L v 2 ( x i ) = − x i L_{v_2}(x_i) = -x_i Lv2(xi)=−xi，其中 x i x_i xi 是随机变量，且 E [ x i ] = 0 \mathbb{E}[x_i] = 0 E[xi]=0。
-
计算 E [ max v L v ( x i ) ] E[\max_v L_v(x_i)] E[maxvLv(xi)]，即：
E [ max v L v ( x i ) ] = E [ max ( x i , − x i ) ] . E[\max_v L_v(x_i)] = E[\max(x_i, -x_i)]. E[vmaxLv(xi)]=E[max(xi,−xi)].假设 x i x_i xi 服从对称分布，比如 x i ∼ N ( 0 , 1 ) x_i \sim N(0,1) xi∼N(0,1)，则：
max ( x i , − x i ) = ∣ x i ∣ . \max(x_i, -x_i) = |x_i|. max(xi,−xi)=∣xi∣.因此，期望值为：
E [ max ( x i , − x i ) ] = E [ ∣ x i ∣ ] . E[\max(x_i, -x_i)] = E[|x_i|]. E[max(xi,−xi)]=E[∣xi∣].对于标准正态分布， E [ ∣ x i ∣ ] E[|x_i|] E[∣xi∣] 是已知的常数，约为 0.798。
-
计算 max v E [ L v ( x i ) ] \max_v E[L_v(x_i)] maxvE[Lv(xi)]，即：
max v E [ L v ( x i ) ] = max ( E [ x i ] , E [ − x i ] ) . \max_v E[L_v(x_i)] = \max(E[x_i], E[-x_i]). vmaxE[Lv(xi)]=max(E[xi],E[−xi]).由于 E [ x i ] = 0 \mathbb{E}[x_i] = 0 E[xi]=0 和 E [ − x i ] = 0 \mathbb{E}[-x_i] = 0 E[−xi]=0，因此：
max v E [ L v ( x i ) ] = 0. \max_v E[L_v(x_i)] = 0. vmaxE[Lv(xi)]=0.
结果：
- E [ max v L v ( x i ) ] = E [ ∣ x i ∣ ] ≈ 0.798 E[\max_v L_v(x_i)] = E[|x_i|] \approx 0.798 E[maxvLv(xi)]=E[∣xi∣]≈0.798。
- max v E [ L v ( x i ) ] = 0 \max_v E[L_v(x_i)] = 0 maxvE[Lv(xi)]=0。
结论
由于期望是对整个随机变量分布的平均，而最大值操作通常会使得期望值偏离，因此在一般情况下，交换顺序是不成立的。