线性代数：多个随机变量相加的方差

对于多个随机变量相加的方差，我们可以按照独立和不独立的情况进行讨论。

1. 独立情况下的证明

假设我们有 n n n 个独立的随机变量 X 1 , X 2 , ... , X n X_1, X_2, \ldots, X_n X1,X2,...,Xn。

根据方差的性质，如果随机变量是独立的，则它们的方差可以直接相加：
Var ( X 1 + X 2 + ... + X n ) = Var ( X 1 ) + Var ( X 2 ) + ... + Var ( X n ) \text{Var}(X_1 + X_2 + \ldots + X_n) = \text{Var}(X_1) + \text{Var}(X_2) + \ldots + \text{Var}(X_n) Var(X1+X2+...+Xn)=Var(X1)+Var(X2)+...+Var(Xn)
证明：

首先，计算期望： E $X 1 + X 2 + ... + X n$ = E $X 1$ + E $X 2$ + ... + E $X n$ \mathbb{E} $X_1 + X_2 + \\ldots + X_n$ = \mathbb{E} $X_1$ + \mathbb{E} $X_2$ + \ldots + \mathbb{E} $X_n$ E $X1+X2+...+Xn$ =E $X1$ +E $X2$ +...+E $Xn$
然后，使用方差的定义： Var ( X 1 + X 2 + ... + X n ) = E $( X 1 + X 2 + ... + X n − E \[ X 1 + X 2 + ... + X n$ ) 2 ] \text{Var}(X_1 + X_2 + \ldots + X_n) = \mathbb{E} $(X_1 + X_2 + \\ldots + X_n - \\mathbb{E}\[X_1 + X_2 + \\ldots + X_n$ )^2] Var(X1+X2+...+Xn)=E $(X1+X2+...+Xn−E\[X1+X2+...+Xn$ )2]
展开并使用独立性： = E $∑ i = 1 n ( X i − E \[ X i$ ) 2 + ∑ i ≠ j ( X i − E $X i$ ) ( X j − E $X j$ ) ] = \mathbb{E}\left $\\sum_{i=1}\^{n}(X_i - \\mathbb{E}\[X_i$ )^2 + \sum_{i \neq j}(X_i - \mathbb{E} $X_i$ )(X_j - \mathbb{E} $X_j$ )\right] =E $∑i=1n(Xi−E\[Xi$ )2+∑i=j(Xi−E $Xi$ )(Xj−E $Xj$ )]对于独立的随机变量，协方差项的期望值为零，因此最后的公式为： = ∑ i = 1 n Var ( X i ) = \sum_{i=1}^{n} \text{Var}(X_i) =∑i=1nVar(Xi)

2. 不独立情况下的证明

如果 X 1 , X 2 , ... , X n X_1, X_2, \ldots, X_n X1,X2,...,Xn 是不独立的随机变量，则需要考虑它们之间的协方差。

方差的计算公式为：
Var ( X 1 + X 2 + ... + X n ) = ∑ i = 1 n Var ( X i ) + ∑ i ≠ j 2 Cov ( X i , X j ) \text{Var}(X_1 + X_2 + \ldots + X_n) = \sum_{i=1}^{n} \text{Var}(X_i) + \sum_{i \neq j} 2 \text{Cov}(X_i, X_j) Var(X1+X2+...+Xn)=∑i=1nVar(Xi)+∑i=j2Cov(Xi,Xj)
证明：

使用方差的定义： Var ( X 1 + X 2 + ... + X n ) = E $( X 1 + X 2 + ... + X n − E \[ X 1 + X 2 + ... + X n$ ) 2 ] \text{Var}(X_1 + X_2 + \ldots + X_n) = \mathbb{E} $(X_1 + X_2 + \\ldots + X_n - \\mathbb{E}\[X_1 + X_2 + \\ldots + X_n$ )^2] Var(X1+X2+...+Xn)=E $(X1+X2+...+Xn−E\[X1+X2+...+Xn$ )2]
展开平方： = ∑ i = 1 n E $( X i − E \[ X i$ ) 2 ] + ∑ i ≠ j E $( X i − E \[ X i$ ) ( X j − E $X j$ ) ] = \sum_{i=1}^{n} \mathbb{E} $(X_i - \\mathbb{E}\[X_i$ )^2] + \sum_{i \neq j} \mathbb{E} $(X_i - \\mathbb{E}\[X_i$ )(X_j - \mathbb{E} $X_j$ )] =∑i=1nE $(Xi−E\[Xi$ )2]+∑i=jE $(Xi−E\[Xi$ )(Xj−E $Xj$ )]
第一项为方差，第二项为协方差的两倍和。
最终，我们得到：
Var ( X 1 + X 2 + ... + X n ) = ∑ i = 1 n Var ( X i ) + ∑ i ≠ j 2 Cov ( X i , X j ) \text{Var}(X_1 + X_2 + \ldots + X_n) = \sum_{i=1}^{n} \text{Var}(X_i) + \sum_{i \neq j} 2 \text{Cov}(X_i, X_j) Var(X1+X2+...+Xn)=∑i=1nVar(Xi)+∑i=j2Cov(Xi,Xj)

总结

独立情况下 ： Var ( X 1 + X 2 + ... + X n ) = ∑ i = 1 n Var ( X i ) \text{Var}(X_1 + X_2 + \ldots + X_n) = \sum_{i=1}^{n} \text{Var}(X_i) Var(X1+X2+...+Xn)=∑i=1nVar(Xi)
不独立情况下 ： Var ( X 1 + X 2 + ... + X n ) = ∑ i = 1 n Var ( X i ) + ∑ i ≠ j 2 Cov ( X i , X j ) \text{Var}(X_1 + X_2 + \ldots + X_n) = \sum_{i=1}^{n} \text{Var}(X_i) + \sum_{i \neq j} 2 \text{Cov}(X_i, X_j) Var(X1+X2+...+Xn)=∑i=1nVar(Xi)+∑i=j2Cov(Xi,Xj)