目录
1、均值（期望）、方差、协方差
参考：https://blog.csdn.net/u010087338/article/details/117696482
- 均值、期望：估算样品集合的平均水平
X ‾ = ∑ i = 1 n X i n \overline{\text{X}}=\dfrac{\sum_{i=1}^nX_i}{n} X=n∑i=1nXi - 标准差：
s = ∑ i = 1 n ( X i − X ‾ ) 2 n − 1 s=\sqrt{\dfrac{\sum_{i=1}^n(X_i-\overline{X})^2}{n-1}} s=n−1∑i=1n(Xi−X)2 - 方差：估算样品集合的散步度，单元维度偏离其均值的程度
s 2 = ∑ i = 1 n ( X i − X ‾ ) 2 n − 1 s^2=\dfrac{\sum_{i=1}^n(X_i-\overline{X})^2}{n-1} s2=n−1∑i=1n(Xi−X)2 - 协方差（covariance）：模拟方差的定义，度量各个维度偏离其均值的程度
c o v ( X , Y ) = ∑ i = 1 n ( X i − X ‾ ) ( Y i − Y ‾ ) n − 1 cov(X,Y)=\dfrac{\sum_{i=1}^n(X_i-\overline{X})(Y_i-\overline{Y})}{n-1} cov(X,Y)=n−1∑i=1n(Xi−X)(Yi−Y)
通俗理解：方差是计算一个班级每个人身高的离散程度之和。协方差是计算一个班级每个人（i=0,1,2...）的身高和体重（两个变量）的相互影响，然后求和。 - 协方差矩阵：描述多个随机变量之间的协方差的方阵。协方差是两个随机变量的线性相关程度的度量。
如果有n个随机变量 X 1 , X 2 , ... , X n X_1,X_2,...,X_n X1,X2,...,Xn，那么它们的协方差矩阵 ∑ \sum ∑可以表示为：
∑ = C o v ( X 1 , X 1 ) C o v ( X 1 , X 2 ) ⋯ C o v ( X 1 , X n ) C o v ( X 2 , X 1 ) C o v ( X 2 , X 2 ) ⋯ C o v ( X 1 , X n ) ⋮ C o v ( X n , X 1 ) C o v ( X n , X 2 ) ⋯ C o v ( X n , X n ) (c) \sum= \begin{bmatrix} Cov(X_1,X_1)&Cov(X_1,X_2)\cdots Cov(X_1,X_n)\\ Cov(X_2,X_1)&Cov(X_2,X_2)\cdots Cov(X_1,X_n)\\ \vdots&\\ Cov(X_n,X_1)&Cov(X_n,X_2)\cdots Cov(X_n,X_n) \end{bmatrix} \tag{c} ∑= Cov(X1,X1)Cov(X2,X1)⋮Cov(Xn,X1)Cov(X1,X2)⋯Cov(X1,Xn)Cov(X2,X2)⋯Cov(X1,Xn)Cov(Xn,X2)⋯Cov(Xn,Xn) (c)Cov(X_1,X_1)&