【人工智能数学基础】如何理解方差与协方差？

文章目录

- 一、方差：描述单个变量的离散程度
- - [1.1 核心概念](#1.1 核心概念)
  - [1.2 数学定义](#1.2 数学定义)
  - [1.2 具体计算公式](#1.2 具体计算公式)
  - [1.3 直观理解](#1.3 直观理解)
- 二、协方差：描述两个变量的协同变化
- - [2.1 核心概念](#2.1 核心概念)
  - [2.2 数学定义](#2.2 数学定义)
  - [2.3 具体计算公式](#2.3 具体计算公式)
  - [2.4 协方差的意义](#2.4 协方差的意义)
- 三、为什么可以说"第i个变量的方差"和"第i与第j个变量的协方差"？
- - [3.1 数据表的视角](#3.1 数据表的视角)
  - 3.2 "第i个变量的方差"
  - 3.3 "第i个变量与第j个变量的协方差"
- 四、协方差矩阵：将所有关系整合在一起
- - [4.1 定义](#4.1 定义)
  - [4.2 重要性质](#4.2 重要性质)
- 五、实际例子
- 总结

一、方差：描述单个变量的离散程度

1.1 核心概念

方差衡量的是一个随机变量 或数据集与其平均值的偏离程度。它描述了数据的"波动性"或"分散程度"。

1.2 数学定义

对于随机变量X，其方差定义为：
Var ( X ) = E $( X − E \[ X$ ) 2 ] \text{Var}(X) = E $(X - E\[X$ )^2] Var(X)=E $(X−E\[X$ )2]

其中 E $X$ E $X$ E $X$ 是 X X X的期望值（均值）。

1.2 具体计算公式

样本方差 ：
s 2 = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) 2 s^2 = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})^2 s2=n−11i=1∑n(xi−xˉ)2

字母含义：

( n )：样本数量
( x_i )：第i个观测值
( \bar{x} )：样本均值
( s^2 )：样本方差

1.3 直观理解

方差大：数据点分散，波动剧烈
方差小：数据点集中，波动平缓

二、协方差：描述两个变量的协同变化

2.1 核心概念

协方差衡量的是两个随机变量变化的协同关系。它描述了两个变量是"同向变化"还是"反向变化"。

2.2 数学定义

对于随机变量X和Y，协方差定义为：
Cov ( X , Y ) = E $( X − E \[ X$ ) ( Y − E $Y$ ) ] \text{Cov}(X,Y) = E $(X - E\[X$ )(Y - E $Y$ )] Cov(X,Y)=E $(X−E\[X$ )(Y−E $Y$ )]

2.3 具体计算公式

样本协方差 ：
s x y = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) s_{xy} = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y}) sxy=n−11i=1∑n(xi−xˉ)(yi−yˉ)

2.4 协方差的意义

正值：X和Y倾向于同向变化（一个增加，另一个也增加）
负值：X和Y倾向于反向变化（一个增加，另一个减少）
零：X和Y没有线性关系

三、为什么可以说"第i个变量的方差"和"第i与第j个变量的协方差"？

3.1 数据表的视角

考虑一个典型的数据集：

样本	变量1 (身高)	变量2 (体重)	变量3 (年龄)	...	变量p
1	x₁₁	x₁₂	x₁₃	...	x₁ₚ
2	x₂₁	x₂₂	x₂₃	...	x₂ₚ
3	x₃₁	x₃₂	x₃₃	...	x₃ₚ
...	...	...	...	...	...
n	xₙ₁	xₙ₂	xₙ₃	...	xₙₚ

在这个数据表中：

行代表不同的观测样本
列代表不同的变量

3.2 "第i个变量的方差"

当我们说"第i个变量的方差"时：

我们固定列索引i
计算这一列所有数据的方差
公式： Var ( X i ) = 1 n − 1 ∑ k = 1 n ( x k i − x ˉ i ) 2 \text{Var}(X_i) = \frac{1}{n-1} \sum_{k=1}^{n} (x_{ki} - \bar{x}_i)^2 Var(Xi)=n−11∑k=1n(xki−xˉi)2
其中 x ˉ i \bar{x}_i xˉi是第i列（第i个变量）的均值

例子："第2个变量的方差"就是计算体重这一列数据的方差。

3.3 "第i个变量与第j个变量的协方差"

当我们说"第i个变量与第j个变量的协方差"时：

我们固定两个列索引i和j
计算这两列数据之间的协方差
公式： Cov ( X i , X j ) = 1 n − 1 ∑ k = 1 n ( x k i − x ˉ i ) ( x k j − x ˉ j ) \text{Cov}(X_i, X_j) = \frac{1}{n-1} \sum_{k=1}^{n} (x_{ki} - \bar{x}i)(x{kj} - \bar{x}_j) Cov(Xi,Xj)=n−11∑k=1n(xki−xˉi)(xkj−xˉj)

例子："第1个变量与第2个变量的协方差"就是计算身高和体重这两列数据的协方差。

四、协方差矩阵：将所有关系整合在一起

4.1 定义

协方差矩阵 Σ \Sigma Σ是一个 p × p p×p p×p的对称矩阵，包含了所有变量之间的方差和协方差信息：

Σ = $Var ( X 1 ) Cov ( X 1 , X 2 ) \dots Cov ( X 1 , X p ) Cov ( X 2 , X 1 ) Var ( X 2 ) \dots Cov ( X 2 , X p ) ⋮ ⋮ ⋱ ⋮ Cov ( X p , X 1 ) Cov ( X p , X 2 ) \dots Var ( X p )$ \Sigma = \begin{bmatrix} \text{Var}(X_1) & \text{Cov}(X_1,X_2) & \cdots & \text{Cov}(X_1,X_p) \\ \text{Cov}(X_2,X_1) & \text{Var}(X_2) & \cdots & \text{Cov}(X_2,X_p) \\ \vdots & \vdots & \ddots & \vdots \\ \text{Cov}(X_p,X_1) & \text{Cov}(X_p,X_2) & \cdots & \text{Var}(X_p) \end{bmatrix} Σ= Var(X1)Cov(X2,X1)⋮Cov(Xp,X1)Cov(X1,X2)Var(X2)⋮Cov(Xp,X2)⋯⋯⋱⋯Cov(X1,Xp)Cov(X2,Xp)⋮Var(Xp)

4.2 重要性质

对角线元素 ：就是各个变量的方差
Σ i i = Var ( X i ) \Sigma_{ii} = \text{Var}(X_i) Σii=Var(Xi)
非对角线元素 ：就是变量间的协方差
Σ i j = Cov ( X i , X j ) ( i ≠ j ) \Sigma_{ij} = \text{Cov}(X_i, X_j) \quad (i \neq j) Σij=Cov(Xi,Xj)(i=j)
对称性 ： Σ i j = Σ j i \Sigma_{ij} = \Sigma_{ji} Σij=Σji

五、实际例子

假设我们有3个变量：身高(X₁)、体重(X₂)、年龄(X₃)，测量了100个人。

"第1个变量的方差"：计算100个人的身高的方差
"第2个变量的方差"：计算100个人的体重的方差
"第1个与第2个变量的协方差"：计算身高和体重的协方差（预期为正，因为高的人通常更重）
"第1个与第3个变量的协方差"：计算身高和年龄的协方差（可能接近零，因为成人身高基本稳定）

协方差矩阵：
Σ = $Var ( 身高 ) Cov ( 身高 , 体重 ) Cov ( 身高 , 年龄 ) Cov ( 体重 , 身高 ) Var ( 体重 ) Cov ( 体重 , 年龄 ) Cov ( 年龄 , 身高 ) Cov ( 年龄 , 体重 ) Var ( 年龄 )$ \Sigma = \begin{bmatrix} \text{Var}(身高) & \text{Cov}(身高,体重) & \text{Cov}(身高,年龄) \\ \text{Cov}(体重,身高) & \text{Var}(体重) & \text{Cov}(体重,年龄) \\ \text{Cov}(年龄,身高) & \text{Cov}(年龄,体重) & \text{Var}(年龄) \end{bmatrix} Σ= Var(身高)Cov(体重,身高)Cov(年龄,身高)Cov(身高,体重)Var(体重)Cov(年龄,体重)Cov(身高,年龄)Cov(体重,年龄)Var(年龄)

总结

方差描述单个变量的离散程度
协方差描述两个变量的协同变化关系
"第i个变量"的表述源于我们将数据视为矩阵，其中列代表变量
协方差矩阵系统性地组织了所有变量间的方差和协方差关系