期望的最大值与最大值的期望
先上结论: m a x i E X i ≠ E m a x i X i max_i \mathbb{E}X_i\neq \mathbb{E}max_i X_i maxiEXi=EmaxiXi
情况一：最大值和数学期望都关于自变量 i i i
在这种情况下，最大值与期望都依赖于同一个随机变量。设有一个随机变量 X i X_i Xi，其中 i i i 是一个离散的索引集合，例如 i = 1 , 2 , ... , n i = 1, 2, \dots, n i=1,2,...,n。
1.最大值的期望
假设我们有 n n n 个独立同分布的随机变量 X 1 , X 2 , ... , X n X_1, X_2, \dots, X_n X1,X2,...,Xn，我们关心的是它们的最大值的期望。
E max ( X 1 , X 2 , ... , X n ) = E max i X i \mathbb{E}\left\\max \\left(X_1, X_2, \\ldots, X_n\\right)\\right=\mathbb{E}\left\\max _i X_i\\right Emax(X1,X2,...,Xn)=EimaxXi
- 期望的最大值
另一种情况是先计算每个随机变量的期望，然后取这些期望的最大值.
max i E X i \max _i \mathbb{E}\leftX_i\\right imaxEXi
如果 X i X_i Xi 的分布相同，则有:
max i E X i = E X \max _i \mathbb{E}\leftX_i\\right=\mathbb{E}X imaxEXi=EX
但通常情况下,该条件不成立.
情况二：最大值关于非自变量，期望关于自变量
在这种情况下，最大值是关于一个非自变量的，而期望是关于自变量的。举个例子，假设我们有一个固定的随机变量 v v v，然后我们对一组随机变量 X i X_i Xi（ i i i 是自变量）进行最大化操作。
1.最大值的期望
这里的最大值是关于一个常数变量 v v v 的。数学表达式为：
max v E X i \max _v \mathbb{E}\leftX_i\\right vmaxEXi
- 期望的最大值
在这种情况下，期望是关于自变量 i i i 的，而最大值则是关于常数 v v v 的：
E max v X i \mathbb{E}\left\\max _v X_i\\right EvmaxXi
下面给出一个反例,说明期望的最大值不等于最大值的期望:
假设有两个节点 v 1 v_1 v1 和 v 2 v_2 v2，每个节点的函数 L v ( x i ) L_v(x_i) Lv(xi) 是随机变量的函数。考虑以下情况：
假设
-
设 L v 1 ( x i ) = x i L_{v_1}(x_i) = x_i Lv1(xi)=xi 和 L v 2 ( x i ) = − x i L_{v_2}(x_i) = -x_i Lv2(xi)=−xi，其中 x i x_i xi 是随机变量，且 E x i = 0 \mathbb{E}x_i = 0 Exi=0。
-
计算 E max v L v ( x i ) E\\max_v L_v(x_i) EmaxvLv(xi)，即：
E max v L v ( x i ) = E max ( x i , − x i ) . E\\max_v L_v(x_i) = E\\max(x_i, -x_i). EvmaxLv(xi)=Emax(xi,−xi).假设 x i x_i xi 服从对称分布，比如 x i ∼ N ( 0 , 1 ) x_i \sim N(0,1) xi∼N(0,1)，则：
max ( x i , − x i ) = ∣ x i ∣ . \max(x_i, -x_i) = |x_i|. max(xi,−xi)=∣xi∣.因此，期望值为：
E max ( x i , − x i ) = E ∣ x i ∣ . E\\max(x_i, -x_i) = E\|x_i\|. Emax(xi,−xi)=E∣xi∣.对于标准正态分布， E ∣ x i ∣ E\|x_i\| E∣xi∣ 是已知的常数，约为 0.798。
-
计算 max v E L v ( x i ) \max_v EL_v(x_i) maxvELv(xi)，即：
max v E L v ( x i ) = max ( E x i , E − x i ) . \max_v EL_v(x_i) = \max(Ex_i, E-x_i). vmaxELv(xi)=max(Exi,E−xi).由于 E x i = 0 \mathbb{E}x_i = 0 Exi=0 和 E − x i = 0 \mathbb{E}-x_i = 0 E−xi=0，因此：
max v E L v ( x i ) = 0. \max_v EL_v(x_i) = 0. vmaxELv(xi)=0.
结果：
- E max v L v ( x i ) = E ∣ x i ∣ ≈ 0.798 E\\max_v L_v(x_i) = E\|x_i\| \approx 0.798 EmaxvLv(xi)=E∣xi∣≈0.798。
- max v E L v ( x i ) = 0 \max_v EL_v(x_i) = 0 maxvELv(xi)=0。
结论
由于期望是对整个随机变量分布的平均，而最大值操作通常会使得期望值偏离，因此在一般情况下，交换顺序是不成立的。