文章目录
-
- 一、方差：描述单个变量的离散程度
-
- [1.1 核心概念](#1.1 核心概念)
- [1.2 数学定义](#1.2 数学定义)
- [1.2 具体计算公式](#1.2 具体计算公式)
- [1.3 直观理解](#1.3 直观理解)
- 二、协方差：描述两个变量的协同变化
-
- [2.1 核心概念](#2.1 核心概念)
- [2.2 数学定义](#2.2 数学定义)
- [2.3 具体计算公式](#2.3 具体计算公式)
- [2.4 协方差的意义](#2.4 协方差的意义)
- 三、为什么可以说"第i个变量的方差"和"第i与第j个变量的协方差"？
-
- [3.1 数据表的视角](#3.1 数据表的视角)
- 3.2 "第i个变量的方差"
- 3.3 "第i个变量与第j个变量的协方差"
- 四、协方差矩阵：将所有关系整合在一起
-
- [4.1 定义](#4.1 定义)
- [4.2 重要性质](#4.2 重要性质)
- 五、实际例子
- 总结
一、方差：描述单个变量的离散程度
1.1 核心概念
方差衡量的是一个随机变量 或数据集与其平均值的偏离程度。它描述了数据的"波动性"或"分散程度"。
1.2 数学定义
对于随机变量X，其方差定义为：
Var ( X ) = E [ ( X − E [ X ] ) 2 ] \text{Var}(X) = E[(X - E[X])^2] Var(X)=E[(X−E[X])2]
其中 E [ X ] E[X] E[X]是 X X X的期望值（均值）。
1.2 具体计算公式
样本方差 ：
s 2 = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) 2 s^2 = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})^2 s2=n−11i=1∑n(xi−xˉ)2
字母含义：
- ( n )：样本数量
- ( x_i )：第i个观测值
- ( \bar{x} )：样本均值
- ( s^2 )：样本方差
1.3 直观理解
- 方差大：数据点分散，波动剧烈
- 方差小：数据点集中，波动平缓
二、协方差：描述两个变量的协同变化
2.1 核心概念
协方差衡量的是两个随机变量变化的协同关系。它描述了两个变量是"同向变化"还是"反向变化"。
2.2 数学定义
对于随机变量X和Y，协方差定义为：
Cov ( X , Y ) = E [ ( X − E [ X ] ) ( Y − E [ Y ] ) ] \text{Cov}(X,Y) = E[(X - E[X])(Y - E[Y])] Cov(X,Y)=E[(X−E[X])(Y−E[Y])]
2.3 具体计算公式
样本协方差 ：
s x y = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) s_{xy} = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y}) sxy=n−11i=1∑n(xi−xˉ)(yi−yˉ)
2.4 协方差的意义
- 正值：X和Y倾向于同向变化（一个增加，另一个也增加）
- 负值：X和Y倾向于反向变化（一个增加，另一个减少）
- 零：X和Y没有线性关系
三、为什么可以说"第i个变量的方差"和"第i与第j个变量的协方差"？
3.1 数据表的视角
考虑一个典型的数据集：
| 样本 | 变量1 (身高) | 变量2 (体重) | 变量3 (年龄) | ... | 变量p |
|---|---|---|---|---|---|
| 1 | x₁₁ | x₁₂ | x₁₃ | ... | x₁ₚ |
| 2 | x₂₁ | x₂₂ | x₂₃ | ... | x₂ₚ |
| 3 | x₃₁ | x₃₂ | x₃₃ | ... | x₃ₚ |
| ... | ... | ... | ... | ... | ... |
| n | xₙ₁ | xₙ₂ | xₙ₃ | ... | xₙₚ |
在这个数据表中：
- 行代表不同的观测样本
- 列代表不同的变量
3.2 "第i个变量的方差"
当我们说"第i个变量的方差"时：
- 我们固定列索引i
- 计算这一列所有数据的方差
- 公式： Var ( X i ) = 1 n − 1 ∑ k = 1 n ( x k i − x ˉ i ) 2 \text{Var}(X_i) = \frac{1}{n-1} \sum_{k=1}^{n} (x_{ki} - \bar{x}_i)^2 Var(Xi)=n−11∑k=1n(xki−xˉi)2
- 其中 x ˉ i \bar{x}_i xˉi是第i列（第i个变量）的均值
例子："第2个变量的方差"就是计算体重这一列数据的方差。
3.3 "第i个变量与第j个变量的协方差"
当我们说"第i个变量与第j个变量的协方差"时：
- 我们固定两个列索引i和j
- 计算这两列数据之间的协方差
- 公式： Cov ( X i , X j ) = 1 n − 1 ∑ k = 1 n ( x k i − x ˉ i ) ( x k j − x ˉ j ) \text{Cov}(X_i, X_j) = \frac{1}{n-1} \sum_{k=1}^{n} (x_{ki} - \bar{x}i)(x{kj} - \bar{x}_j) Cov(Xi,Xj)=n−11∑k=1n(xki−xˉi)(xkj−xˉj)
例子："第1个变量与第2个变量的协方差"就是计算身高和体重这两列数据的协方差。
四、协方差矩阵：将所有关系整合在一起
4.1 定义
协方差矩阵 Σ \Sigma Σ是一个 p × p p×p p×p的对称矩阵，包含了所有变量之间的方差和协方差信息：
Σ = [ Var ( X 1 ) Cov ( X 1 , X 2 ) ⋯ Cov ( X 1 , X p ) Cov ( X 2 , X 1 ) Var ( X 2 ) ⋯ Cov ( X 2 , X p ) ⋮ ⋮ ⋱ ⋮ Cov ( X p , X 1 ) Cov ( X p , X 2 ) ⋯ Var ( X p ) ] \Sigma = \begin{bmatrix} \text{Var}(X_1) & \text{Cov}(X_1,X_2) & \cdots & \text{Cov}(X_1,X_p) \\ \text{Cov}(X_2,X_1) & \text{Var}(X_2) & \cdots & \text{Cov}(X_2,X_p) \\ \vdots & \vdots & \ddots & \vdots \\ \text{Cov}(X_p,X_1) & \text{Cov}(X_p,X_2) & \cdots & \text{Var}(X_p) \end{bmatrix} Σ= Var(X1)Cov(X2,X1)⋮Cov(Xp,X1)Cov(X1,X2)Var(X2)⋮Cov(Xp,X2)⋯⋯⋱⋯Cov(X1,Xp)Cov(X2,Xp)⋮Var(Xp)
4.2 重要性质
- 对角线元素 ：就是各个变量的方差
Σ i i = Var ( X i ) \Sigma_{ii} = \text{Var}(X_i) Σii=Var(Xi) - 非对角线元素 ：就是变量间的协方差
Σ i j = Cov ( X i , X j ) ( i ≠ j ) \Sigma_{ij} = \text{Cov}(X_i, X_j) \quad (i \neq j) Σij=Cov(Xi,Xj)(i=j) - 对称性 ： Σ i j = Σ j i \Sigma_{ij} = \Sigma_{ji} Σij=Σji
五、实际例子
假设我们有3个变量：身高(X₁)、体重(X₂)、年龄(X₃)，测量了100个人。
- "第1个变量的方差"：计算100个人的身高的方差
- "第2个变量的方差"：计算100个人的体重的方差
- "第1个与第2个变量的协方差"：计算身高和体重的协方差（预期为正，因为高的人通常更重）
- "第1个与第3个变量的协方差"：计算身高和年龄的协方差（可能接近零，因为成人身高基本稳定）
协方差矩阵：
Σ = [ Var ( 身高 ) Cov ( 身高 , 体重 ) Cov ( 身高 , 年龄 ) Cov ( 体重 , 身高 ) Var ( 体重 ) Cov ( 体重 , 年龄 ) Cov ( 年龄 , 身高 ) Cov ( 年龄 , 体重 ) Var ( 年龄 ) ] \Sigma = \begin{bmatrix} \text{Var}(身高) & \text{Cov}(身高,体重) & \text{Cov}(身高,年龄) \\ \text{Cov}(体重,身高) & \text{Var}(体重) & \text{Cov}(体重,年龄) \\ \text{Cov}(年龄,身高) & \text{Cov}(年龄,体重) & \text{Var}(年龄) \end{bmatrix} Σ= Var(身高)Cov(体重,身高)Cov(年龄,身高)Cov(身高,体重)Var(体重)Cov(年龄,体重)Cov(身高,年龄)Cov(体重,年龄)Var(年龄)
总结
- 方差描述单个变量的离散程度
- 协方差描述两个变量的协同变化关系
- "第i个变量"的表述源于我们将数据视为矩阵，其中列代表变量
- 协方差矩阵系统性地组织了所有变量间的方差和协方差关系