随机信号处理中，正交，独立，相关等概念的区别与关系

在随机信号处理中，正交、独立和相关是三个重要的概念，它们之间存在一定的区别与关系，以下是对这三个概念的详细解释以及它们之间的区别与联系：

一、概念定义

正交：

对于随机变量：若两个随机变量X和Y的内积（即数学期望E $XY$ ）为0，则称X和Y正交。
对于随机信号：若两个随机信号X(t)和Y(t)的互相关函数（即E $X(t1)Y(t2)$ ）恒等于0，则称X(t)和Y(t)正交。

独立：

对于两个随机变量X和Y，若X的有关信息不给出Y的任何信息，并且Y的有关信息也不包含X的任何信息，则称X和Y独立。数学上，这等价于它们的联合概率密度函数等于各自概率密度函数的乘积。
等价地，如果两个随机变量X和Y的期望满足 E $X Y$ = E $X$ E $Y$ E $XY$ =E $X$ E $Y$ E $XY$ =E $X$ E $Y$ ，则两者相互独立。
等价地，如果两个随机变量X和Y的概率密度函数满足 f ( x , y ) = f X ( x ) f Y ( y ) f(x,y) = f_X(x)f_Y(y) f(x,y)=fX(x)fY(y)，则两者相互独立。

相关：

相关描述的是两个变量之间是否存在线性关系（严格地来说应该说线性相关，但是除非特别指定，一般来说我们说相关的时候都是指线性相关）。

相关系数的定义如下：
r X Y = c o v ( X , Y ) D $X$ D $Y$ r_{XY} = \frac{cov(X,Y)}{\sqrt{D $X$ D $Y$ }} rXY=D $X$ D $Y$ cov(X,Y)
r X Y = E $( X − E \[ X$ ) ( E $( Y − E \[ Y$ ) ] E $( X − E \[ X$ ) 2 ] E $( Y − E \[ Y$ ) 2 ] r_{XY} = \frac{E $(X-E\[X$ )(E $(Y-E\[Y$ )]}{\sqrt{E $(X-E\[X$ )^2]E $(Y-E\[Y$ )^2]}} rXY=E $(X−E\[X$ )2]E $(Y−E\[Y$ )2] E $(X−E\[X$ )(E $(Y−E\[Y$ )]
r X Y = E $X Y$ − E ( X ) E $Y$ E $( X − E \[ X$ ) 2 ] E $( Y − E \[ Y$ ) 2 ] r_{XY} = \frac{E $XY$ - E(X)E $Y$ }{\sqrt{E $(X-E\[X$ )^2]E $(Y-E\[Y$ )^2]}} rXY=E $(X−E\[X$ )2]E $(Y−E\[Y$ )2] E $XY$ −E(X)E $Y$

若两个随机变量X和Y的协方差（即E $(X-E\[X$ )(Y-E $Y$ )]）不为0，则称X和Y相关；否则，称X和Y不相关。

更具体一点来说

r X Y = 1 r_{XY} = 1 rXY=1：X, Y完全（线性）相关
r X Y = 0 r_{XY} = 0 rXY=0：X, Y完全（线性）不相关
0 < r X Y < 1 0 < r_{XY} < 1 0<rXY<1：实际应用中更常见的是这一种情况，属于不完全（线性）相关或者说不完全（线性）不相关。一般来说，如果超过某一门限的话则认为存在（线性）相关性。但是具体门限随不同的应用而不同。

随机过程的互相关函数

BTW, 对于两个随机过程，其互相关函数定义为：
R X Y ( t 1 , t 2 ) = E $X ( t 1 ) Y ( t 2 )$ = ∫ − ∞ ∞ x y f X Y ( x , y , t 1 , t 2 ) d x d y R_{XY}(t_1,t_2) = E $X(t_1)Y(t_2)$ = \int_{-\infty}^{\infty}xyf_{XY}(x,y,t_1,t_2)dxdy RXY(t1,t2)=E $X(t1)Y(t2)$ =∫−∞∞xyfXY(x,y,t1,t2)dxdy

二、区别与关系

正交与不相关：

因为正交是要求 E $X Y$ = 0 E $XY$ =0 E $XY$ =0，而不相关是要求协方差等于0，即 c o v ( X , Y ) = E $X Y$ − E ( X ) E $Y$ = 0 cov(X,Y) = E $XY$ - E(X)E $Y$ =0 cov(X,Y)=E $XY$ −E(X)E $Y$ =0，一般地来说，两者并没有什么关联。但是在特殊情况下，比如说，两个随机变量其中至少一个是零均值（或者零期望，zero-mean, etc）等的话，即 E $X$ E $Y$ = 0 E $X$ E $Y$ =0 E $X$ E $Y$ =0的条件下，则有： $E\[XY\]=0 等价于等价于等价于cov(X,Y) = E\[XY\] - E(X)E\[Y\]=0$ ，即正交与不相关等价。

正交一定不相关，但不相关不一定正交。正交要求的是两个随机变量或信号的内积为0，而不相关只要求它们的协方差为0。当随机变量的期望为0时，正交与不相关等价。

独立与不相关：

由以上相关系数的定义和公式可知，独立的话， c o v ( X , Y ) = E $X Y$ − E ( X ) E $Y$ = 0 cov(X,Y) = E $XY$ - E(X)E $Y$ =0 cov(X,Y)=E $XY$ −E(X)E $Y$ =0 ⇒ r X Y = 0 r_{XY}=0 rXY=0。

所以，独立一定不相关；

但不相关不一定独立。

独立是更严格的概念，它要求两个随机变量或信号之间没有任何关系（包括线性关系和非线性关系），而不相关只要求它们之间没有线性关系。

正态分布的独立与相关

正态分布是具有非常良好特性的特殊分布。正态分布条件下，独立与不相关是等价的，或者说是互为充要条件。

总结关系：

正交是特殊的不相关，即当内积为0时，两个随机变量或信号正交，也就自然不相关。反之，正交且X,Y至少有一个是零期望则不相关。
独立是更广泛的概念，涵盖了不相关和正交的情况，但独立的要求更为严格。

三、实际应用

在随机信号处理中，这些概念的应用非常广泛。例如，在通信系统中，为了减小信号之间的干扰，通常希望发送的信号之间是正交或不相关的。此外，在信号检测、估计和滤波等领域，这些概念也发挥着重要作用。

综上所述，正交、独立和相关是随机信号处理中的三个重要概念，它们之间既有区别又有联系。正确理解这些概念及其之间的关系，对于深入理解和应用随机信号处理技术具有重要意义。