文章目录
- [1. 计算协方差](#1. 计算协方差)
-
- [1. 计算方式一：使用期望值](#1. 计算方式一：使用期望值)
- [2. 计算方式二：使用样本数据](#2. 计算方式二：使用样本数据)
- [3. 对比两种方式](#3. 对比两种方式)
- [2. 随机变量为二维平面的点](#2. 随机变量为二维平面的点)
- [3. 随机变量为三维空间的点](#3. 随机变量为三维空间的点)
- [4. 马同学视频例子](#4. 马同学视频例子)
- Ref
协方差是统计学中一个重要的概念，它用于衡量两个随机变量的总体误差。简单来说，协方差用于度量两个变量之间的线性关系。
如果协方差是正的，那么两个变量可能会同时增大或减小，这表明它们之间可能存在正相关的关系。
如果协方差是负的，那么其中一个变量增大时，另一个可能减小，这表明它们之间可能存在负相关的关系。
如果协方差是 0 0 0，那么两个变量可能不相关。
协方差的一个主要应用是在统计和概率理论中，用于衡量两个随机变量的联动性。此外，协方差矩阵在多元统计分析、信号处理、控制系统、投资组合优化等多个领域都有广泛的应用。
然而，协方差有一个缺点，就是它的值受到变量尺度的影响。例如，如果你测量同一个物理量，但是使用的单位不同（比如使用米和厘米），你会得到完全不同的协方差。为了克服这个问题，我们经常使用相关系数（协方差除以两个变量的标准差），这是一个标准化的协方差，不受尺度的影响，范围在-1到1之间。
1. 计算协方差
总的来说，计算协方差可以使用两种方式。区别在于是否知道全部的数据量，也就是说我们是知道随机变量的期望均值，还是仅知道样本数据的样本均值。至于期望均值和样本均值的区别，请查阅文章：【LinearAlgebra】12.1 Mean, Variance, and Probability。
第一种，当我们知道所有的数据（总数据量为 N N N）时，也就是知道了具体的期望值，可以使用公式
Cov ( X , Y ) = E [ ( X − μ X ) ( Y − μ Y ) ] \begin{aligned} \text{Cov} (X,Y) &= \text{E} [(X-\mu X)(Y-\mu Y)] \end{aligned} Cov(X,Y)=E[(X−μX)(Y−μY)]
来计算。其中 μ X 、 μ Y \mu X、\mu Y μX、μY 分别是 X X X 和 Y Y Y 的期望值。
第二种是仅知道样本数据（样本数量为 n n n，总数据量为 N N N）时，可以使用公式
Cov ( X , Y ) = ∑ i n ( x i − x ˉ ) ( y i − y ˉ ) n − 1 \begin{aligned} \text{Cov} (X,Y) &= \frac{\sum_i^n (x_i - \bar{x})(y_i - \bar{y})}{n-1} \end{aligned} Cov(X,Y)=n−1∑in(xi−xˉ)(yi−yˉ)
来估算（注意不是计算）协方差。其中 x i 、 y i x_i、y_i xi、yi 是两个随机变量已知的样本数据， x ˉ 、 y ˉ \bar{x}、\bar{y} xˉ、yˉ 是两个随机变量的平均值。注意这里是除以（ n − 1 n-1 n−1）而不是 n n n，因为这是无偏估计，当样本数据用来估计总计参数时，需要这样处理。
接下来用同一组数据，分别使用两种方式来计算协方差，看下效果。
1. 计算方式一：使用期望值
假设有两个随机变量 X = { 1 , 2 , 2 , 2 , 3 } X = \{1, 2, 2, 2, 3\} X={1,2,2,2,3}， Y = { 6 , 6 , 7 , 7 , 8 } Y = \{6, 6, 7, 7, 8\} Y={6,6,7,7,8}。我们能够分别计算二者的期望均值为
μ X = ( 1 + 2 + 2 + 2 + 3 ) / 5 = 2 μ Y = ( 6 + 6 + 7 + 7 + 8 ) / 5 = 6.8 \begin{aligned} \mu X &= (1+2+2+2+3)/5=2 \\ \mu Y &= (6+6+7+7+8)/5=6.8 \end{aligned} μXμY=(1+2+2+2+3)/5=2=(6+6+7+7+8)/5=6.8
那么协方差为
Cov ( X , Y ) = E [ ( X − μ X ) ( Y − μ Y ) ] = [ ( 1 − 2 ) ( 6 − 6.8 ) + ( 2 − 2 ) ( 6 − 6.8 ) + ( 2 − 2 ) ( 7 − 6.8 ) + ( 2 − 2 ) ( 7 − 6.8 ) + ( 3 − 2 ) ( 8 − 6.8 ) ] / 5 = [ 0.8 + 0 + 0 + 0 + 1.2 ] / 5 = 0.4 \begin{aligned} \text{Cov} (X,Y) &= \text{E} [(X-\mu X)(Y-\mu Y)] \\ &= [(1-2)(6-6.8) + (2-2)(6-6.8) + (2-2)(7-6.8) + (2-2)(7-6.8) + (3-2)(8-6.8)] / 5 \\ &= [0.8 + 0 + 0 + 0 + 1.2] / 5 \\ &= 0.4 \end{aligned} Cov(X,Y)=E[(X−μX)(Y−μY)]=[(1−2)(6−6.8)+(2−2)(6−6.8)+(2−2)(7−6.8)+(2−2)(7−6.8)+(3−2)(8−6.8)]/5=[0.8+0+0+0+1.2]/5=0.4
所以，这两个随机变量的协方差为 0.4 0.4 0.4。
2. 计算方式二：使用样本数据
还是上边的两个随机变量。但假如我们仅知道其中的 3 3 3 个，如 X = { 1 , 2 , 2 , 3 } X = \{1, 2, 2, 3\} X={1,2,2,3}， Y = { 6 , 6 , 7 , 8 } Y = \{6, 6, 7, 8\} Y={6,6,7,8}，同时也不知道每个样本的概率。这时候，我们仅能计算出来样本均值，也就是
x ˉ = ( 1 + 2 + 2 + 3 ) / 4 = 2 y ˉ = ( 6 + 6 + 7 + 8 ) / 4 = 6.75 \begin{aligned} \bar{x} &= (1+2+2+3)/4=2 \\ \bar{y} &= (6+6+7+8)/4=6.75 \end{aligned} xˉyˉ=(1+2+2+3)/4=2=(6+6+7+8)/4=6.75
那么协方差为
Cov ( X , Y ) = ∑ i n ( x i − x ˉ ) ( y i − y ˉ ) n − 1 = [ ( 1 − 2 ) ( 6 − 6.75 ) + ( 2 − 2 ) ( 6 − 6.75 ) + ( 2 − 2 ) ( 7 − 6.75 ) + ( 3 − 2 ) ( 8 − 6.75 ) ] / ( 4 − 1 ) = [ 0.75 + 0 + 0 + 1.25 ] / 3 = 0.6667 \begin{aligned} \text{Cov} (X,Y) &= \frac{\sum_i^n (x_i - \bar{x})(y_i - \bar{y})}{n-1} \\ &= [(1-2)(6-6.75) + (2-2)(6-6.75) + (2-2)(7-6.75) + (3-2)(8-6.75)] / (4-1) \\ &= [0.75 + 0 + 0 + 1.25] / 3 \\ &= 0.6667 \end{aligned} Cov(X,Y)=n−1∑in(xi−xˉ)(yi−yˉ)=[(1−2)(6−6.75)+(2−2)(6−6.75)+(2−2)(7−6.75)+(3−2)(8−6.75)]/(4−1)=[0.75+0+0+1.25]/3=0.6667
所以，用这一组样本估算出来的协方差为 0.6667 0.6667 0.6667。
在上述样本的基础上，假如我们知道了其概率，也就是样本为 X = { 1 , 2 , 2 , 3 } X = \{1, 2, 2, 3\} X={1,2,2,3}， Y = { 6 , 6 , 7 , 8 } Y = \{6, 6, 7, 8\} Y={6,6,7,8}，同时每个样本的概率为 P = { 0.2 , 0.2 , 0.4 , 0.2 } P = \{0.2, 0.2, 0.4, 0.2\} P={0.2,0.2,0.4,0.2}。那此时就可以计算出来随机变量的期望值为
μ X = 0.2 ∗ 1 + 0.2 ∗ 2 + 0.4 ∗ 2 + 0.2 ∗ 3 = 2 μ Y = 0.2 ∗ 6 + 0.2 ∗ 6 + 0.4 ∗ 7 + 0.2 ∗ 8 = 6.8 \begin{aligned} \mu X &= 0.2*1+0.2*2+0.4*2+0.2*3=2 \\ \mu Y &= 0.2*6+0.2*6+0.4*7+0.2*8=6.8 \end{aligned} μXμY=0.2∗1+0.2∗2+0.4∗2+0.2∗3=2=0.2∗6+0.2∗6+0.4∗7+0.2∗8=6.8
计算协方差为
Cov ( X , Y ) = ∑ p i ( x i − μ X ) ( y i − μ Y ) = 0.2 ∗ ( 1 − 2 ) ( 6 − 8 ) + 0.2 ∗ ( 2 − 2 ) ( 6 − 8 ) + 0.4 ∗ ( 2 − 2 ) ( 7 − 8 ) + 0.2 ∗ ( 3 − 2 ) ( 8 − 8 ) = 0.2 ∗ ( 2 ) + 0.2 ∗ ( 0 ) + 0.4 ∗ ( 0 ) + 0.2 ∗ ( 0 ) = 0.4 \begin{aligned} \text{Cov} (X,Y) &= \sum p_i (x_i - \mu X)(y_i - \mu Y) \\ &= 0.2*(1-2)(6-8) + 0.2*(2-2)(6-8) + 0.4*(2-2)(7-8) + 0.2*(3-2)(8-8) \\ &= 0.2*(2) + 0.2*(0) + 0.4*(0) + 0.2*(0) \\ &= 0.4 \end{aligned} Cov(X,Y)=∑pi(xi−μX)(yi−μY)=0.2∗(1−2)(6−8)+0.2∗(2−2)(6−8)+0.4∗(2−2)(7−8)+0.2∗(3−2)(8−8)=0.2∗(2)+0.2∗(0)+0.4∗(0)+0.2∗(0)=0.4
3. 对比两种方式
至于为什么知道了样本的概率就能知道精准知道协方差了，可以看一下数据的排列。
首先，全部数据可以排列成
Data N = [ x i 1 2 2 2 3 y i 6 6 7 7 8 p i 0.2 0.2 0.2 0.2 0.2 ] = [ x i 1 2 2 3 y i 6 6 7 8 p i 0.2 0.2 0.4 0.2 ] \text{Data}_N = \left[\begin{matrix} x_i & 1 & 2 & 2 & 2 & 3 \\ y_i & 6 & 6 & 7 & 7 & 8 \\ p_i & 0.2 & 0.2 & 0.2 & 0.2 & 0.2 \\ \end{matrix}\right] =\left[\begin{matrix} x_i & 1 & 2 & 2 & 3 \\ y_i & 6 & 6 & 7 & 8 \\ p_i & 0.2 & 0.2 & 0.4 & 0.2 \\ \end{matrix}\right] DataN= xiyipi160.2260.2270.2270.2380.2 = xiyipi160.2260.2270.4380.2
而使用样本估算的方法时，我们用的应该是
Data n = [ x i 1 2 2 3 y i 6 6 7 8 p i 0.25 0.25 0.25 0.25 ] \text{Data}_n = \left[\begin{matrix} x_i & 1 & 2 & 2 & 3 \\ y_i & 6 & 6 & 7 & 8 \\ p_i & 0.25 & 0.25 & 0.25 & 0.25 \\ \end{matrix}\right] Datan= xiyipi160.25260.25270.25380.25
所以，对比观看一下可以知道，我们在样本估算时，实际也是假设了每个样本出现的概率都是相同的。
2. 随机变量为二维平面的点
在上述描述中，我们随机变量中的样本都是数字，也就是每个样本数据的维度都是 1 1 1 维的。接下来假设样本为二维平面中的点，也就是样本数据的维度为 2 2 2 维。
假设随机变量的样本为： X = { ( 1 , 2 ) , ( 3 , 4 ) , ( 5 , 6 ) } X = \{(1,2), (3,4), (5,6)\} X={(1,2),(3,4),(5,6)}， Y = { ( 2 , 3 ) , ( 4 , 5 ) , ( 6 , 7 ) } Y = \{(2,3), (4,5), (6,7)\} Y={(2,3),(4,5),(6,7)}。首先计算均值为
x ˉ = ( 1 + 3 + 5 , 2 + 4 + 6 ) / 3 = ( 3 , 4 ) y ˉ = ( 2 + 4 + 6 , 3 + 5 + 7 ) / 3 = ( 4 , 5 ) \begin{aligned} \bar{x} &= (1+3+5, 2+4+6)/3=(3,4) \\ \bar{y} &= (2+4+6, 3+5+7)/3=(4,5) \end{aligned} xˉyˉ=(1+3+5,2+4+6)/3=(3,4)=(2+4+6,3+5+7)/3=(4,5)
然后，我们计算协方差矩阵。在这种情况下，协方差矩阵是一个 2 × 2 2 \times 2 2×2 的矩阵，其每个元素 Cov ( X , Y ) i j \text{Cov}(X,Y)_{ij} Cov(X,Y)ij 是 X X X 的第 i i i 个维度和 Y Y Y 的第 j j j 个维度的协方差。在这种情况下，我们计算的是 X X X 和 Y Y Y 之间的协方差，而不是 X X X 和 Y Y Y 内部的协方差，所以我们是在计算 X X X 的第 i i i 个维度和 Y Y Y 的第 j j j 个维度。
矩阵的每一个元素 ( i , j ) (i,j) (i,j) 都是通过以下公式计算得到的：
Cov ( X , Y ) i j = ∑ k n = 3 ( x k i − x ˉ i ) ( y k j − y ˉ i ) n − 1 \begin{aligned} \text{Cov} (X,Y){ij} &= \frac{\sum_k^{n=3} (x{ki} - \bar{x}i)(y{kj} - \bar{y}_i)}{n-1} \end{aligned} Cov(X,Y)ij=n−1∑kn=3(xki−xˉi)(ykj−yˉi)
其中 x k i x_{ki} xki 表示第 k k k 个样本的第 i i i 个维度的值， x ˉ i \bar{x}_i xˉi 表示均值的第 i i i 个维度。
依次代入数值并展开有
Cov ( X , Y ) i = 1 , j = 1 = ( 1 − 3 ) ( 2 − 4 ) + ( 3 − 3 ) ( 4 − 4 ) + ( 5 − 3 ) ( 6 − 4 ) 3 − 1 = 4 Cov ( X , Y ) i = 1 , j = 2 = ( 1 − 3 ) ( 3 − 5 ) + ( 3 − 3 ) ( 5 − 5 ) + ( 5 − 3 ) ( 7 − 5 ) 3 − 1 = 4 \begin{aligned} \text{Cov} (X,Y){i=1,j=1} &= \frac{(1-3)(2-4) + (3-3)(4-4) + (5-3)(6-4)}{3-1} = 4 \\ \text{Cov} (X,Y){i=1,j=2} &= \frac{(1-3)(3-5) + (3-3)(5-5) + (5-3)(7-5)}{3-1} = 4 \end{aligned} Cov(X,Y)i=1,j=1Cov(X,Y)i=1,j=2=3−1(1−3)(2−4)+(3−3)(4−4)+(5−3)(6−4)=4=3−1(1−3)(3−5)+(3−3)(5−5)+(5−3)(7−5)=4
Cov ( X , Y ) i = 2 , j = 1 = ( 2 − 4 ) ( 2 − 4 ) + ( 4 − 4 ) ( 4 − 4 ) + ( 6 − 4 ) ( 6 − 4 ) 3 − 1 = 4 Cov ( X , Y ) i = 2 , j = 2 = ( 2 − 4 ) ( 3 − 5 ) + ( 4 − 4 ) ( 5 − 5 ) + ( 6 − 4 ) ( 7 − 5 ) 3 − 1 = 4 \begin{aligned} \text{Cov} (X,Y){i=2,j=1} &= \frac{(2-4)(2-4) + (4-4)(4-4) + (6-4)(6-4)}{3-1} = 4 \\ \text{Cov} (X,Y){i=2,j=2} &= \frac{(2-4)(3-5) + (4-4)(5-5) + (6-4)(7-5)}{3-1} = 4 \end{aligned} Cov(X,Y)i=2,j=1Cov(X,Y)i=2,j=2=3−1(2−4)(2−4)+(4−4)(4−4)+(6−4)(6−4)=4=3−1(2−4)(3−5)+(4−4)(5−5)+(6−4)(7−5)=4
故协方差矩阵为
Cov ( X , Y ) = [ 4 4 4 4 ] \begin{aligned} \text{Cov} (X,Y) &= \left[\begin{matrix} 4 & 4 \\ 4 & 4 \\ \end{matrix}\right] \end{aligned} Cov(X,Y)=[4444]
3. 随机变量为三维空间的点
接下来假设样本为三维空间中的点，也就是样本数据的维度为 3 3 3 维。
假设随机变量的样本为： X = { ( 1 , 2 , 3 ) , ( 4 , 5 , 6 ) , ( 7 , 8 , 9 ) } X = \{(1,2,3), (4,5,6), (7,8,9)\} X={(1,2,3),(4,5,6),(7,8,9)}， Y = { ( 2 , 3 , 4 ) , ( 5 , 6 , 7 ) , ( 8 , 9 , 10 ) } Y = \{(2,3,4), (5,6,7), (8,9,10)\} Y={(2,3,4),(5,6,7),(8,9,10)}。首先计算均值为
x ˉ = ( 1 + 4 + 7 , 2 + 5 + 8 , 3 + 6 + 9 ) / 3 = ( 4 , 5 , 6 ) y ˉ = ( 2 + 5 + 8 , 3 + 6 + 9 , 4 + 7 + 10 ) / 3 = ( 5 , 6 , 7 ) \begin{aligned} \bar{x} &= (1+4+7, 2+5+8, 3+6+9)/3=(4, 5, 6) \\ \bar{y} &= (2+5+8, 3+6+9, 4+7+10)/3=(5, 6, 7) \end{aligned} xˉyˉ=(1+4+7,2+5+8,3+6+9)/3=(4,5,6)=(2+5+8,3+6+9,4+7+10)/3=(5,6,7)
然后，我们计算协方差矩阵。在这种情况下，协方差矩阵是一个 3 × 3 3 \times 3 3×3 的矩阵，其每个元素 Cov ( X , Y ) i j \text{Cov}(X,Y)_{ij} Cov(X,Y)ij 是 X X X 的第 i i i 个维度和 Y Y Y 的第 j j j 个维度的协方差。
矩阵的每一个元素 ( i , j ) (i,j) (i,j) 都是通过以下公式计算得到的：
Cov ( X , Y ) i j = ∑ k n = 3 ( x k i − x ˉ i ) ( y k j − y ˉ i ) n − 1 \begin{aligned} \text{Cov} (X,Y){ij} &= \frac{\sum_k^{n=3} (x{ki} - \bar{x}i)(y{kj} - \bar{y}_i)}{n-1} \end{aligned} Cov(X,Y)ij=n−1∑kn=3(xki−xˉi)(ykj−yˉi)
依次代入数值并展开有
Cov ( X , Y ) i = 1 , j = 1 = ( 1 − 4 ) ( 2 − 5 ) + ( 4 − 4 ) ( 3 − 5 ) + ( 7 − 4 ) ( 4 − 5 ) 3 − 1 = 3 Cov ( X , Y ) i = 1 , j = 2 = ( 1 − 4 ) ( 5 − 6 ) + ( 4 − 4 ) ( 6 − 6 ) + ( 7 − 4 ) ( 7 − 6 ) 3 − 1 = 3 Cov ( X , Y ) i = 1 , j = 3 = ( 1 − 4 ) ( 8 − 7 ) + ( 4 − 4 ) ( 9 − 7 ) + ( 7 − 4 ) ( 10 − 7 ) 3 − 1 = 3 \begin{aligned} \text{Cov} (X,Y){i=1,j=1} &= \frac{(1-4)(2-5) + (4-4)(3-5) + (7-4)(4-5)}{3-1} = 3 \\ \text{Cov} (X,Y){i=1,j=2} &= \frac{(1-4)(5-6) + (4-4)(6-6) + (7-4)(7-6)}{3-1} = 3 \\ \text{Cov} (X,Y)_{i=1,j=3} &= \frac{(1-4)(8-7) + (4-4)(9-7) + (7-4)(10-7)}{3-1} = 3 \end{aligned} Cov(X,Y)i=1,j=1Cov(X,Y)i=1,j=2Cov(X,Y)i=1,j=3=3−1(1−4)(2−5)+(4−4)(3−5)+(7−4)(4−5)=3=3−1(1−4)(5−6)+(4−4)(6−6)+(7−4)(7−6)=3=3−1(1−4)(8−7)+(4−4)(9−7)+(7−4)(10−7)=3
Cov ( X , Y ) i = 2 , j = 1 = ( 2 − 5 ) ( 2 − 5 ) + ( 5 − 5 ) ( 3 − 5 ) + ( 8 − 5 ) ( 4 − 5 ) 3 − 1 = 3 Cov ( X , Y ) i = 2 , j = 2 = ( 2 − 5 ) ( 5 − 6 ) + ( 5 − 5 ) ( 6 − 6 ) + ( 8 − 5 ) ( 7 − 6 ) 3 − 1 = 3 Cov ( X , Y ) i = 2 , j = 3 = ( 2 − 5 ) ( 8 − 7 ) + ( 5 − 5 ) ( 9 − 7 ) + ( 8 − 5 ) ( 10 − 7 ) 3 − 1 = 3 \begin{aligned} \text{Cov} (X,Y){i=2,j=1} &= \frac{(2-5)(2-5) + (5-5)(3-5) + (8-5)(4-5)}{3-1} = 3 \\ \text{Cov} (X,Y){i=2,j=2} &= \frac{(2-5)(5-6) + (5-5)(6-6) + (8-5)(7-6)}{3-1} = 3 \\ \text{Cov} (X,Y)_{i=2,j=3} &= \frac{(2-5)(8-7) + (5-5)(9-7) + (8-5)(10-7)}{3-1} = 3 \end{aligned} Cov(X,Y)i=2,j=1Cov(X,Y)i=2,j=2Cov(X,Y)i=2,j=3=3−1(2−5)(2−5)+(5−5)(3−5)+(8−5)(4−5)=3=3−1(2−5)(5−6)+(5−5)(6−6)+(8−5)(7−6)=3=3−1(2−5)(8−7)+(5−5)(9−7)+(8−5)(10−7)=3
Cov ( X , Y ) i = 3 , j = 1 = ( 3 − 6 ) ( 2 − 5 ) + ( 6 − 6 ) ( 3 − 5 ) + ( 9 − 6 ) ( 4 − 5 ) 3 − 1 = 3 Cov ( X , Y ) i = 3 , j = 2 = ( 3 − 6 ) ( 5 − 6 ) + ( 6 − 6 ) ( 6 − 6 ) + ( 9 − 6 ) ( 7 − 6 ) 3 − 1 = 3 Cov ( X , Y ) i = 3 , j = 3 = ( 3 − 6 ) ( 8 − 7 ) + ( 6 − 6 ) ( 9 − 7 ) + ( 9 − 6 ) ( 10 − 7 ) 3 − 1 = 3 \begin{aligned} \text{Cov} (X,Y){i=3,j=1} &= \frac{(3-6)(2-5) + (6-6)(3-5) + (9-6)(4-5)}{3-1} = 3 \\ \text{Cov} (X,Y){i=3,j=2} &= \frac{(3-6)(5-6) + (6-6)(6-6) + (9-6)(7-6)}{3-1} = 3 \\ \text{Cov} (X,Y)_{i=3,j=3} &= \frac{(3-6)(8-7) + (6-6)(9-7) + (9-6)(10-7)}{3-1} = 3 \end{aligned} Cov(X,Y)i=3,j=1Cov(X,Y)i=3,j=2Cov(X,Y)i=3,j=3=3−1(3−6)(2−5)+(6−6)(3−5)+(9−6)(4−5)=3=3−1(3−6)(5−6)+(6−6)(6−6)+(9−6)(7−6)=3=3−1(3−6)(8−7)+(6−6)(9−7)+(9−6)(10−7)=3
故协方差矩阵为
Cov ( X , Y ) = [ 3 3 3 3 3 3 3 3 3 ] \begin{aligned} \text{Cov} (X,Y) &= \left[\begin{matrix} 3 & 3 & 3 \\ 3 & 3 & 3 \\ 3 & 3 & 3 \\ \end{matrix}\right] \end{aligned} Cov(X,Y)= 333333333
4. 马同学视频例子
如果看公式比较抽象的，也可以看看马同学图解数学中的视频讲解：如何通俗地解释协方差 - bilibili。我截取了几个关键步骤的视频截图。
使用的是身高 x i x_i xi 和体重 y i y_i yi 这两个指标为例子。
想要知道身高和体重的相关性，可以使用下边这种计算方式。
∑ ( x i − x ˉ ) ( y i − y ˉ ) (1) \begin{aligned} \sum (x_i - \bar{x})(y_i - \bar{y}) \end{aligned} \tag{1} ∑(xi−xˉ)(yi−yˉ)(1)
其中 x ˉ , y ˉ \bar{x}, \bar{y} xˉ,yˉ 分别表示身高，体重的平均值。
但数据差异较大时，就会出现错误判断。
这时候引入数据出现的概率 p i p_i pi，同时替换数字平均值 x ˉ , y ˉ \bar{x}, \bar{y} xˉ,yˉ 为加权平均值 μ X , μ Y \mu X, \mu Y μX,μY。
此时公式（1）变为
∑ ( x i − x ˉ ) ( y i − y ˉ ) ∑ p i ( x i − μ X ) ( y i − μ Y ) (2) \begin{aligned} &\sum (x_i - \bar{x})(y_i - \bar{y}) \\ &\sum p_i (x_i - \mu X)(y_i - \mu Y) \end{aligned} \tag{2} ∑(xi−xˉ)(yi−yˉ)∑pi(xi−μX)(yi−μY)(2)
其中 μ X , μ Y \mu X, \mu Y μX,μY 表示加权平均， p i p_i pi 表示每一项的概率。
最后，将式子改写成期望的形式有
∑ ( x i − x ˉ ) ( y i − y ˉ ) ∑ p i ( x i − μ X ) ( y i − μ Y ) Cov ( X , Y ) = E [ ( X − μ X ) ( Y − μ Y ) ] (3) \begin{aligned} &\sum (x_i - \bar{x})(y_i - \bar{y}) \\ &\sum p_i (x_i - \mu X)(y_i - \mu Y) \\ \text{Cov} (X,Y) &= \text{E} [(X-\mu X)(Y-\mu Y)] \end{aligned} \tag{3} Cov(X,Y)∑(xi−xˉ)(yi−yˉ)∑pi(xi−μX)(yi−μY)=E[(X−μX)(Y−μY)](3)