文章目录
一、信息论（熵、联合熵、条件熵）
熵定义： H ( X ) = E [ − l o g 2 p ( x ) ] = − ∑ x ∈ X p ( x ) l o g 2 p ( x ) H(X)=E[-log_2p(x)]=-\sum_{x\in X}p(x)log_2p(x) H(X)=E[−log2p(x)]=−x∈X∑p(x)log2p(x)
note
- H(X)是X的平均香农信息内容
- H(X)是每个符号的平均信息量
- 二元问题(抛硬币)，H(X)取值为[H(X),H(X)+1]
为什么用 l o g 2 ( . ) log_2(.) log2(.)衡量信息
非负性： f ( p ) ≥ 0 f(p)\ge0 f(p)≥0, 0 ≤ p ≤ 1 0\le p\le1 0≤p≤1
特殊点：当p=0, f ( p ) = ∞ f(p)=\infty f(p)=∞
可加性
单调递增连续性 ？？
二、Bernoulli熵
符号集 χ = [ 0 , 1 ] \chi=[0,1] χ=[0,1]，对应的概率 p ⃗ = [ p , 1 − p ] \vec{p}=[p,1-p] p =[p,1−p]
Bernoulli熵： H ( X ) = H ( p ) = − p l o g 2 p − ( 1 − p ) l o g 2 ( 1 − p ) H(X)=H(p)=-plog_2p-(1-p)log_2(1-p) H(X)=H(p)=−plog2p−(1−p)log2(1−p)
note：
- 通常用 H ( p ) H(p) H(p)表示 H ( X ) H(X) H(X)
- p=0 or 1时， H ( p ) = 0 H(p)=0 H(p)=0
- H ( p ) H(p) H(p)是p的凸函数
- p=0.5， H ( p ) H(p) H(p)最大
- H ( p ) H(p) H(p)的取值范围 0 ≤ H ( p ) ≤ l o g 2 ∣ χ ∣ 0\le H(p)\le log_2|\chi| 0≤H(p)≤log2∣χ∣
三、联合熵和条件熵
联合熵：
H ( X , Y ) = − E l o g p ( x , y ) = − ∑ x ∈ X ∑ y ∈ Y p ( x , y ) l o g p ( x , y ) H(X,Y)=-Elogp(x,y)=-\sum_{x\in X} \sum_{y\in Y} p(x,y)logp(x,y) H(X,Y)=−Elogp(x,y)=−x∈X∑y∈Y∑p(x,y)logp(x,y)
条件熵
H ( Y ∣ X ) = − E l o g ( y ∣ x ) = − ∑ x ∈ X ∑ y ∈ Y p ( x , y ) l o g p ( y ∣ x ) H(Y|X)=-Elog(y|x)=-\sum_{x\in X} \sum_{y\in Y}p(x,y)logp(y|x) H(Y∣X)=−Elog(y∣x)=−x∈X∑y∈Y∑p(x,y)logp(y∣x)
H ( Y ∣ X ) = ∑ x ∈ X p ( x ) H ( Y ∣ X = x ) H(Y|X)=\sum_{x\in X}p(x)H(Y|X=x) H(Y∣X)=x∈X∑p(x)H(Y∣X=x)
熵的链式法则
- H ( X , Y ) = H ( X ) + H ( Y ∣ X ) H(X,Y)=H(X)+H(Y|X) H(X,Y)=H(X)+H(Y∣X)
- H ( X , Y ∣ Z ) = H ( X ∣ Z ) + H ( Y ∣ X , Z ) H(X,Y|Z)=H(X|Z)+H(Y|X,Z) H(X,Y∣Z)=H(X∣Z)+H(Y∣X,Z)
- H ( X 1 , X 2 , . . . . X n ) = ∑ i = 1 n H ( X i ∣ X i − 1 , . . . . X 1 ) H(X_1,X_2,....X_n)=\sum_{i=1}^{n}H(X_i|X_{i-1},....X_1) H(X1,X2,....Xn)=∑i=1nH(Xi∣Xi−1,....X1)
四、互信息
定义：
I ( X ; Y ) = H ( X ) − H ( X ∣ Y ) = H ( X ) + H ( Y ) − H ( X , Y ) I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(X,Y) I(X;Y)=H(X)−H(X∣Y)=H(X)+H(Y)−H(X,Y)
互信息具有对称性
I ( X ; Y ) = H ( X ) − H ( X ∣ Y ) = H ( Y ) − H ( Y ∣ X ) I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X) I(X;Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)
I ( X ; Y ) = H ( X ) + H ( Y ) − H ( X , Y ) I(X;Y)=H(X)+H(Y)-H(X,Y) I(X;Y)=H(X)+H(Y)−H(X,Y)
I ( X ; Y ) = I ( Y , X ) I(X;Y)=I(Y,X) I(X;Y)=I(Y,X)
I ( X ; X ) = H ( X ) I(X;X)=H(X) I(X;X)=H(X)
I ( X ; Y ) ≥ 0 I(X;Y)\ge0 I(X;Y)≥0，当且仅当X Y互相独立时，等号成立
互信息的链式法则
I ( X 1 , X 2 , . . . . X n ; Y ) = ∑ i = 1 n I ( X i ; Y ∣ X i − 1 , . . . . , X 1 ) I(X_1,X_2,....X_n;Y)=\sum_{i=1}^nI(X_i;Y|X_{i-1},....,X_1) I(X1,X2,....Xn;Y)=i=1∑nI(Xi;Y∣Xi−1,....,X1)
五、相对熵(KL距离)
D ( p ⃗ ∣ ∣ q ⃗ ) = ∑ x ∈ X p ( x ) l o g q ( x ) p ( x ) = E p ⃗ [ − l o g q ( x ) ] − H ( p ⃗ ) D(\vec{p}||\vec{q})=\sum_{x\in X}p(x)log\frac{q(x)}{p(x)}=E_{\vec{p}}[-logq(x)]-H(\vec{p}) D(p ∣∣q )=x∈X∑p(x)logp(x)q(x)=Ep [−logq(x)]−H(p )
D ( p ⃗ ∣ ∣ q ⃗ ) D(\vec{p}||\vec{q}) D(p ∣∣q )测量的是两个概率分布 p ⃗ \vec{p} p 和 q ⃗ \vec{q} q 间的距离，并非真实距离
D ( p ⃗ ∣ ∣ q ⃗ ) ≥ 0 D(\vec{p}||\vec{q})\ge 0 D(p ∣∣q )≥0，当且仅当 p ⃗ \vec{p} p = q ⃗ \vec{q} q ，等号成立
六、微分熵
对于连续型随机变量，一个以f(x)为密度函数的连续型随机变量，X的微分熵h(x)为：
h ( x ) = ∫ − ∞ ∞ f X ( x ) l o g f X ( x ) d x = E − l o g f X ( x ) h(x)=\int_{-\infty}^{\infty}f_X{(x)}logf_X(x)dx=E-logf_X(x) h(x)=∫−∞∞fX(x)logfX(x)dx=E−logfX(x)
note
- 微分熵仅依赖于随机变量的概率密度函数，有时候将微分熵写为h(f)
- 微分熵可以为负值
微分熵分类
| 均匀分布的微分熵 | 高斯分布的微分熵 | |
|---|---|---|
| 前提条件 | 随机变量服从均匀分布 X ∼ U ( a , b ) X\sim U(a,b) X∼U(a,b) | 随机变量服从均匀分布 X ∼ U ( μ , σ 2 ) X\sim U(\mu,\sigma^2) X∼U(μ,σ2) |
| f ( x ) = { 1 b − a , x ∈ ( a , b ) ) 0 e l s e f(x)=\left\{\begin{matrix}\frac{1}{b-a} ,&x\in(a,b)) \\ 0 &else \end{matrix}\right. f(x)={b−a1,0x∈(a,b))else | ||
| 微分熵 | h ( x ) = ∫ a b f ( x ) l o g f ( x ) d x = l o g ( b − a ) h(x)=\int_a^bf(x)logf(x)dx=log(b-a) h(x)=∫abf(x)logf(x)dx=log(b−a)当b-a<1时,h(x)<0 |
常需要的不等式公式
H ( Y ∣ X ) ≤ H ( X ) H(Y|X)\le H(X) H(Y∣X)≤H(X),X和Y互相独立时，等号成立
H ( X 1 , X 2 , . . . . X n ) ≤ ∑ i = 1 n H ( X i ) H(X_1,X_2,....X_n)\le \sum_{i=1}^nH(X_i) H(X1,X2,....Xn)≤∑i=1nH(Xi)，当且仅当 X i X_i Xi互相独立时等号成立
参考文章：通信算法基础知识汇总（5）