从贝叶斯决策到最小距离判别法再到Fisher判别分析

Bayes准则（最小期望风险）→\rightarrow→Bayes假设检验→\rightarrow→判别分析法→\rightarrow→最小距离判别法→\rightarrow→Fisher判别分析法

Bayes准则（最小期望风险）
判别函数: R(Dj∣x)=∑i=1KLijP(Ci∣x),j=1,2,⋯ ,KR\left(D_j\mid \boldsymbol{x}\right)=\sum\limits_{i = 1}^{K}L_{ij}P\left(C_i\mid \boldsymbol{x}\right),\quad j = 1,2,\cdots,KR(Dj∣x)=i=1∑KLijP(Ci∣x),j=1,2,⋯,K
判别法则: 若R(Dj∣x)=min⁡1⩽i⩽KR(Di∣x)R\left(D_j\mid \boldsymbol{x}\right)= \min\limits_{1 \leqslant i \leqslant K} R\left(D_i\mid \boldsymbol{x}\right)R(Dj∣x)=1⩽i⩽KminR(Di∣x)，则判决x\boldsymbol{x}x为CjC_jCj

↓Lij={1,i≠j0,i=j\downarrow L_{ij}=\begin{cases}1, & i\neq j\\0, & i = j\end{cases}↓Lij={1,0,i=ji=j

Bayes假设检验
判别函数:P(Ci∣x)=p(x∣Ci)P(Ci)∑j=1Kp(x∣Cj)P(Cj),i=1,2,⋯ ,KP \left( C_i \mid {\boldsymbol x} \right) = \dfrac{ p \left( {\boldsymbol x} \mid C_i \right) P \left( C_i \right) } { \sum\limits_{j=1}^{K} p \left( {\boldsymbol x} \mid C_j \right) P \left( C_j \right)}, \quad i = 1,2,\cdots,KP(Ci∣x)=j=1∑Kp(x∣Cj)P(Cj)p(x∣Ci)P(Ci),i=1,2,⋯,K
判别法则: 若P(Cj∣x)=max⁡1⩽i⩽KP(Ci∣x)P \left( C_j \mid {\boldsymbol x} \right)= \max\limits_{1 \leqslant i \leqslant K} P \left( C_i \mid {\boldsymbol x} \right)P(Cj∣x)=1⩽i⩽KmaxP(Ci∣x)，则判决x\boldsymbol{x}x为CjC_jCj

↓Xi∼N(μi,Σi),i=1,2,⋯ ,K\downarrow {\boldsymbol X}_i \sim N(\boldsymbol{\mu}_i, \boldsymbol{\varSigma}_i), \quad i = 1,2,\cdots,K↓Xi∼N(μi,Σi),i=1,2,⋯,K

判别分析法
判别函数:fi(x)=−12(x−μi)⊤Σi−1(x−μi)⏟马氏距离−12ln⁡∣Σi∣+ln⁡P(Ci)i=1,2,⋯ ,K{{ f}{i}} \left( \boldsymbol{x} \right)= -\dfrac{1}{2}\underbrace{{{ \left( \boldsymbol{x} - {{\boldsymbol{\mu}}{i}} \right)}^{{\top} }} {\boldsymbol{{\varSigma}}}i^{-1} \left(\boldsymbol{x} - {{\boldsymbol{\mu}}{i}} \right)}_{马氏距离} - \dfrac{1}{2} \ln \lvert {\boldsymbol{{\varSigma}}}_i \rvert + \ln P \left({C_i} \right) \quad i = 1,2,\cdots,Kfi(x)=−21马氏距离 (x−μi)⊤Σi−1(x−μi)−21ln∣Σi∣+lnP(Ci)i=1,2,⋯,K
判别法则: 若fj(x)=max⁡1⩽i⩽Kfi(x)f_j(\boldsymbol{x}) = \max\limits_{1 \leqslant i \leqslant K} f_i(\boldsymbol{x})fj(x)=1⩽i⩽Kmaxfi(x)，则判决x\boldsymbol{x}x为CjC_jCj

↓P(C1)=P(C2)=⋯=P(CK),Σ1=Σ2=⋯=ΣK\downarrow P \left({C_1} \right) = P \left({C_2} \right) = \cdots = P \left({C_K} \right) ,\boldsymbol{\varSigma}_1 = \boldsymbol{\varSigma}_2 = \cdots = \boldsymbol{\varSigma}_K↓P(C1)=P(C2)=⋯=P(CK),Σ1=Σ2=⋯=ΣK

最小距离判别法（线性函数或分段线性函数）
判别函数:hj(x)=μj⊤Σ−1x−12μj⊤Σ−1μj,j=1,2,⋯ ,Kh_j(\boldsymbol{x}) = \boldsymbol{\mu}_j^\top \boldsymbol{\varSigma}^{-1} \boldsymbol{x} - \dfrac{1}{2} \boldsymbol{\mu}_j^\top \boldsymbol{\varSigma}^{-1} \boldsymbol{\mu}_j, \quad j = 1,2,\cdots,Khj(x)=μj⊤Σ−1x−21μj⊤Σ−1μj,j=1,2,⋯,K
判别法则: 若hj(x)=max⁡1⩽i⩽Khi(x)h_j(\boldsymbol{x}) = \max\limits_{1 \leqslant i \leqslant K} h_i(\boldsymbol{x})hj(x)=1⩽i⩽Kmaxhi(x)，则判决x\boldsymbol{x}x为CjC_jCj

↓SW=Σ\downarrow {{\boldsymbol{S}}_W} = {{\boldsymbol{{\varSigma}}}} ↓SW=Σ

Fisher判别分析