【1】引言
前序学习进程中，已经回顾了协方差相关的基本概念。
【2】协方差正负和变量线性关系的说明
单个变量 X = [ x 1 , x 2 , . . . , x n ] X=[x_{1},x_{2},...,x_{n}] X=[x1,x2,...,xn]的均值为：
E ( x ) = 1 n ∑ i = 1 n x i E(x)=\frac{1}{n}\sum_{i=1}^{n}x_{i} E(x)=n1i=1∑nxi
对于两个随机变量 X X X和 Y Y Y，协方差为 C o v ( X , Y ) Cov(X,Y) Cov(X,Y)，有：
C o v ( X , Y ) = E [ ( X − E ( X ) ) ( Y − E ( Y ) ) ] Cov(X,Y)=E[(X-E(X))(Y-E(Y))] Cov(X,Y)=E[(X−E(X))(Y−E(Y))]
实际的机器学习中，往往不能把变量的数据全部采集到，而是只能获得一部分样本，样本协方差的计算式为：
c o v ( x , y ) = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) cov(x,y)=\frac{1}{n-1}\sum_{i=1}^{n}(x_{i}-\bar x)(y_{i}-\bar y) cov(x,y)=n−11i=1∑n(xi−xˉ)(yi−yˉ)
协方差的性质满足：
若 C o v ( X , Y ) > 0 Cov(X,Y)>0 Cov(X,Y)>0： X X X和 Y Y Y正相关；
若 C o v ( X , Y ) = 0 Cov(X,Y)=0 Cov(X,Y)=0： X X X和 Y Y Y线性不相关；
若 C o v ( X , Y ) < 0 Cov(X,Y)<0 Cov(X,Y)<0： X X X和 Y Y Y负相关。
实际上这样判断的根本原因比较简单:
如果 [ ( X − E ( X ) ( Y − E ( Y ) ] > 0 [(X-E(X)(Y-E(Y)]>0 [(X−E(X)(Y−E(Y)]>0，包括两种情况，第一种 ( X − E ( X ) > 0 且 ( Y − E ( Y ) > 0 (X-E(X)>0且(Y-E(Y)>0 (X−E(X)>0且(Y−E(Y)>0，第二种 ( X − E ( X ) < 0 且 ( Y − E ( Y ) < 0 (X-E(X)<0且(Y-E(Y)<0 (X−E(X)<0且(Y−E(Y)<0，这两种情况下变量 X X X和 Y Y Y同步偏离均值，所以认为它们是线性正相关关系；
如果 [ ( X − E ( X ) ( Y − E ( Y ) ] = 0 [(X-E(X)(Y-E(Y)]=0 [(X−E(X)(Y−E(Y)]=0，包括两种情况，第一种仅 ( X − E ( X ) = 0 (X-E(X)=0 (X−E(X)=0，第二种仅 ( Y − E ( Y ) < 0 (Y-E(Y)<0 (Y−E(Y)<0，第三种 ( X − E ( X ) = 0 且 ( Y − E ( Y ) = 0 (X-E(X)=0且(Y-E(Y)=0 (X−E(X)=0且(Y−E(Y)=0，这三种情况下，变量 X X X和 Y Y Y总有一个停滞在均值处，这个停滞的量和另一个量没有任何关系，所以认为它们彼此不相关；
如果 [ ( X − E ( X ) ( Y − E ( Y ) ] < 0 [(X-E(X)(Y-E(Y)]<0 [(X−E(X)(Y−E(Y)]<0，包括两种情况，第一种 ( X − E ( X ) > 0 且 ( Y − E ( Y ) < 0 (X-E(X)>0且(Y-E(Y)<0 (X−E(X)>0且(Y−E(Y)<0，第二种 ( X − E ( X ) < 0 且 ( Y − E ( Y ) > 0 (X-E(X)<0且(Y-E(Y)>0 (X−E(X)<0且(Y−E(Y)>0，这两种情况下变量 X X X和 Y Y Y按照相反的方向偏离均值，所以认为它们是线性负相关关系。
【3】方差
我们直接从均值跳跃到协方差的计算，现在看来步子过大，在均值和协方差中间，还有一个变量，方差 V a r ( X ) Var(X) Var(X)：
V a r ( X ) = E [ ( X − E ( X ) ) 2 ] = E [ X 2 − 2 X E ( X ) + E ( X ) 2 ] = E ( X 2 ) − 2 E ( X ) E ( E ( X ) ) + E ( E ( X ) 2 ) = E ( X 2 ) − E ( X ) 2 Var(X)=E[(X-E(X))^2]=E[X^2-2XE(X)+E(X)^2]=\\ E(X^2)-2E(X)E(E(X))+E(E(X)^2)=\\ E(X^2)-E(X)^2 Var(X)=E[(X−E(X))2]=E[X2−2XE(X)+E(X)2]=E(X2)−2E(X)E(E(X))+E(E(X)2)=E(X2)−E(X)2
【4】当协方差等于方差
从公式推导上看，协方差等于方差是完全可能的：当计算变量自己和自己的协方差时，协方差就是方差。
C o v ( X , X ) = E [ ( X − E ( X ) ) ( X − E ( X ) ) ] = E ( X 2 ) − E ( X ) 2 Cov(X,X)=E[(X-E(X))(X-E(X))]=E(X^2)-E(X)^2 Cov(X,X)=E[(X−E(X))(X−E(X))]=E(X2)−E(X)2
方差其实是协方差的一个特例，协方差计算所有变量之间的相互线性关系，但方差计算的是变量自己和自己的线性关系。
【5】总结
回顾了协方差和方差的基本概念。