机器学习 [白板推导]（六）[核方法、指数族分布]

7. 核方法

7.1. 背景

对于严格线性可分问题，感知机、SVM等算法都可以提供很好的解决方案，但对于非线性分类问题，需要一个非线性转换来将其变为线性问题。

高维空间往往比低维空间更容易线性可分，因此可以通过一些非线性变换将已知维度计算出新的维度，便有可能将非线性问题变为线性问题。

然而在实际问题中，可以将非线性问题转化为线性问题的变换函数 ϕ ( x ⃗ ) \phi (\vec{x}) ϕ(x ) 可能是非常复杂的，而根据概率派思想，将一个问题最终看做一个优化问题，则往往需要计算内积，如 ( ϕ ( x ⃗ i ) − ϕ ( x ⃗ ˉ ) ) T ( ϕ ( x ⃗ j ) − ϕ ( x ⃗ ˉ ) ) \left (\phi(\vec{x}_i) - \phi(\bar{\vec{x}}) \right )^T\left (\phi(\vec{x}_j) - \phi(\bar{\vec{x}}) \right ) (ϕ(x i)−ϕ(x ˉ))T(ϕ(x j)−ϕ(x ˉ))，这会给优化带来非常可怕的复杂度。

事实上，我们所关心的是最终的内积的值，而不需要 ϕ ( x ⃗ ) \phi (\vec{x}) ϕ(x ) 的结果，因此如果有一个函数可以一步得到内积，即 K ( x ⃗ i , x ⃗ j ) ≡ ( ϕ ( x ⃗ i ) − ϕ ( x ⃗ ˉ ) ) T ( ϕ ( x ⃗ j ) − ϕ ( x ⃗ ˉ ) ) K(\vec{x}_i, \vec{x}_j) \equiv \left (\phi(\vec{x}_i) - \phi(\bar{\vec{x}}) \right )^T\left (\phi(\vec{x}_j) - \phi(\bar{\vec{x}}) \right ) K(x i,x j)≡(ϕ(x i)−ϕ(x ˉ))T(ϕ(x j)−ϕ(x ˉ))，无需计算 ϕ ( x ⃗ ) \phi (\vec{x}) ϕ(x ) 即可直接得到内积结果，就可以很大程度简化优化的难度，因此核方法诞生了， K ( x ⃗ i , x ⃗ j ) K(\vec{x}_i, \vec{x}_j) K(x i,x j) 即为（正定）核函数。

7.2. 定义

核：若存在函数 K K K 使得 K : X × X → R K:X \times X\rightarrow \mathbb{R} K:X×X→R，其中 X X X 为特征空间， R \mathbb{R} R为全体实数域，则称 K K K 为核函数。

正定核：对于一个核函数 K K K，若存在非线性变换 ϕ ( x ⃗ ) \phi (\vec{x}) ϕ(x )（ ϕ ( x ⃗ ) \phi (\vec{x}) ϕ(x )属于希尔伯特空间，希尔伯特空间指完备的、可能是无限维的、被赋予内积的线性空间），使得 K ( x ⃗ i , x ⃗ j ) ≡ ϕ ( x ⃗ i ) T ϕ ( x ⃗ j ) K(\vec{x}_i, \vec{x}_j) \equiv \phi(\vec{x}_i) ^T\phi(\vec{x}_j) K(x i,x j)≡ϕ(x i)Tϕ(x j)，换言之任意N个样本的Gram矩阵 $K ( x ⃗ 1 , x ⃗ 1 ) K ( x ⃗ 1 , x ⃗ 2 ) \dots K ( x ⃗ 1 , x ⃗ N ) K ( x ⃗ 2 , x ⃗ 1 ) K ( x ⃗ 2 , x ⃗ 2 ) \dots K ( x ⃗ 2 , x ⃗ N ) ⋮ ⋮ ⋱ ⋮ K ( x ⃗ N , x ⃗ 1 ) K ( x ⃗ N , x ⃗ 2 ) \dots K ( x ⃗ N , x ⃗ N )$ \begin{bmatrix} K(\vec{x}_1, \vec{x}_1) & K(\vec{x}_1, \vec{x}_2) & \cdots & K(\vec{x}_1, \vec{x}_N)\\ K(\vec{x}_2, \vec{x}_1) & K(\vec{x}_2, \vec{x}_2) & \cdots & K(\vec{x}_2, \vec{x}_N)\\ \vdots & \vdots & \ddots &\vdots \\ K(\vec{x}_N, \vec{x}_1) & K(\vec{x}_N, \vec{x}_2) & \cdots & K(\vec{x}_N, \vec{x}_N) \end{bmatrix} K(x 1,x 1)K(x 2,x 1)⋮K(x N,x 1)K(x 1,x 2)K(x 2,x 2)⋮K(x N,x 2)⋯⋯⋱⋯K(x 1,x N)K(x 2,x N)⋮K(x N,x N) 是半正定的，则称 K K K 为正定核函数。

8. 指数族分布

8.1. 背景

指数族分布的定义式： p ( x ⃗ ∣ η ⃗ ) = h ( x ⃗ ) ⋅ exp ⁡ { η ⃗ T ⋅ ϕ ( x ⃗ ) − A ( η ⃗ ) } p(\vec{x}\ |\ \vec{\eta})=h(\vec{x})\cdot \exp\left \{\vec{\eta}^T\cdot \phi(\vec{x})-A(\vec{\eta}) \right \} p(x ∣ η )=h(x )⋅exp{η T⋅ϕ(x )−A(η )}，其中：

η ⃗ \vec{\eta} η 为参数向量。
A ( η ⃗ ) A(\vec{\eta}) A(η ) 为对数配分函数（log partition function），配分函数表示包含了所有状态信息的函数，常用于归一化等用途，例如将某函数 p ^ ( x ⃗ ∣ θ ⃗ ) \hat{p}(\vec{x}\ |\ \vec{\theta}) p^(x ∣ θ ) 归一化为概率分布，可以设 z = ∫ p ^ ( x ⃗ ∣ θ ⃗ ) z=\int \hat{p}(\vec{x}\ | \ \vec{\theta}) z=∫p^(x ∣ θ )，则 p ( x ⃗ ∣ θ ⃗ ) = 1 z p ^ ( x ⃗ ∣ θ ⃗ ) p(\vec{x} \ | \ \vec{\theta})=\frac{1}{z}\hat{p}(\vec{x}\ |\ \vec{\theta}) p(x ∣ θ )=z1p^(x ∣ θ ) 可以使 ∫ p ( x ⃗ ∣ θ ⃗ ) = 1 \int p(\vec{x} \ | \ \vec{\theta})=1 ∫p(x ∣ θ )=1，即被归一化为概率分布。在指数族分布中， p ( x ⃗ ∣ η ⃗ ) = h ( x ⃗ ) ⋅ exp ⁡ { η ⃗ T ⋅ ϕ ( x ⃗ ) } ⋅ / exp ⁡ { A ( η ⃗ ) } p(\vec{x}\ |\ \vec{\eta})=h(\vec{x})\cdot \exp\left \{\vec{\eta}^T\cdot \phi(\vec{x}) \right \}\cdot /\exp\left \{A(\vec{\eta}) \right \} p(x ∣ η )=h(x )⋅exp{η T⋅ϕ(x )}⋅/exp{A(η )}，则 z = exp ⁡ { A ( η ⃗ ) } , A ( η ⃗ ) = log ⁡ z z = \exp\left \{ A(\vec{\eta})\right \},A(\vec{\eta})=\log z z=exp{A(η )},A(η )=logz 即为对数配方函数。
ϕ ( x ⃗ ) \phi (\vec{x}) ϕ(x )代表充分统计量，即对于一组数据 { x ⃗ i } 1 ≤ i ≤ N \left \{ \vec{x}i \right \}{1\leq i\leq N} {x i}1≤i≤N， ϕ ( x ⃗ ) \phi (\vec{x}) ϕ(x ) 包含了其所有统计信息，例如 ϕ ( x ⃗ ) = $E ( x ⃗ ) , D ( x ⃗ )$ \phi (\vec{x})=\left $E(\\vec{x}), D(\\vec{x}) \\right$ ϕ(x )= $E(x ),D(x )$ 等等。

指数族分布的特点（学完概率图模型和变分推断后补）

8.2. 高斯分布的指数族分布推导

对于一组符合一维高斯分布的数据，设参数为 θ ⃗ = $μ , σ 2$ \vec{\theta}= $\\mu , \\sigma\^2$ θ = $μ,σ2$ ，其概率密度函数为：
p ( x ∣ θ ) = 1 2 π ⋅ σ exp ⁡ { − ( x − μ ) 2 2 σ 2 } = exp ⁡ { − 1 2 log ⁡ ( 2 π ⋅ σ 2 ) } ⋅ exp ⁡ { − 1 2 σ 2 ( x 2 − 2 μ ⋅ x ) − μ 2 2 σ 2 } = exp ⁡ { $μ σ 2 - 1 2 σ 2$ ⋅ $x x 2$ − ( μ 2 2 σ 2 + 1 2 log ⁡ ( 2 π ⋅ σ 2 ) ) } . (8.1) \begin{aligned} p(x|\theta)&=\frac{1}{\sqrt{2\pi}\cdot\sigma}\exp\left \{ -\frac{(x-\mu)^2}{2\sigma^2} \right \}\\ &=\exp\left \{ -\frac{1}{2}\log(2\pi\cdot\sigma^2) \right \}\cdot \exp\left \{ -\frac{1}{2\sigma^2}(x^2-2\mu \cdot x) - \frac{\mu^2}{2\sigma^2} \right \}\\ &=\exp\left \{ \left $\\begin{matrix} \\frac{\\mu}{\\sigma\^2} \& -\\frac{1}{2\\sigma\^2} \\end{matrix} \\right$ \cdot\left $\\begin{matrix} x\\\\ x\^2 \\end{matrix} \\right$ - \left (\frac{\mu^2}{2\sigma^2} +\frac{1}{2}\log(2\pi\cdot\sigma^2) \right )\right \}.\tag{8.1} \end{aligned} p(x∣θ)=2π ⋅σ1exp{−2σ2(x−μ)2}=exp{−21log(2π⋅σ2)}⋅exp{−2σ21(x2−2μ⋅x)−2σ2μ2}=exp{ $σ2μ-2σ21$ ⋅ $xx2$ −(2σ2μ2+21log(2π⋅σ2))}.(8.1)

因此可得： η ⃗ = $μ σ 2 - 1 2 σ 2$ T , η 1 = μ σ 2 , η 2 = − 1 2 σ 2 \vec{\eta}=\left $\\begin{matrix} \\frac{\\mu}{\\sigma\^2} \& -\\frac{1}{2\\sigma\^2} \\end{matrix} \\right$ ^T,\eta_1=\frac{\mu}{\sigma^2},\eta_2=-\frac{1}{2\sigma^2} η = $σ2μ-2σ21$ T,η1=σ2μ,η2=−2σ21，同时 ϕ ( x ) = $x x 2$ T \phi(x)=\left $\\begin{matrix} x \& x\^2 \\end{matrix} \\right$ ^T ϕ(x)= $xx2$ T， A ( η ⃗ ) = μ 2 2 σ 2 + 1 2 log ⁡ ( 2 π ⋅ σ 2 ) = − η 1 2 4 η 2 + 1 2 log ⁡ ( − π η 2 ) A(\vec{\eta})=\frac{\mu^2}{2\sigma^2} +\frac{1}{2}\log(2\pi\cdot\sigma^2) =-\frac{\eta_1^2}{4\eta_2}+\frac{1}{2}\log(-\frac{\pi}{\eta_2}) A(η )=2σ2μ2+21log(2π⋅σ2)=−4η2η12+21log(−η2π)，即得到了一维高斯分布的指数族分布形式。

8.3. 关于对数配分函数的一些结论

由于 p ( x ⃗ ∣ η ⃗ ) = h ( x ⃗ ) ⋅ exp ⁡ { η ⃗ T ⋅ ϕ ( x ⃗ ) } / exp ⁡ { A ( η ⃗ ) } p(\vec{x}\ |\ \vec{\eta})=h(\vec{x})\cdot \exp\left \{\vec{\eta}^T\cdot \phi(\vec{x}) \right \}/\exp\left \{ A(\vec{\eta})\right \} p(x ∣ η )=h(x )⋅exp{η T⋅ϕ(x )}/exp{A(η )}，可得 exp ⁡ { A ( η ⃗ ) } ⋅ p ( x ⃗ ∣ η ⃗ ) = h ( x ⃗ ) ⋅ exp ⁡ { η ⃗ T ⋅ ϕ ( x ⃗ ) } \exp\left \{ A(\vec{\eta})\right \}\cdot p(\vec{x}\ |\ \vec{\eta})=h(\vec{x})\cdot \exp\left \{\vec{\eta}^T\cdot \phi(\vec{x}) \right \} exp{A(η )}⋅p(x ∣ η )=h(x )⋅exp{η T⋅ϕ(x )}.

再两边积分可得： ∫ exp ⁡ { A ( η ⃗ ) } ⋅ p ( x ⃗ ∣ η ⃗ ) d x ⃗ = exp ⁡ { A ( η ⃗ ) } = ∫ h ( x ⃗ ) ⋅ exp ⁡ { η ⃗ T ⋅ ϕ ( x ⃗ ) } d x ⃗ \int \exp\left \{ A(\vec{\eta})\right \}\cdot p(\vec{x}\ |\ \vec{\eta})d\vec{x}=\exp\left \{ A(\vec{\eta})\right \}=\int h(\vec{x})\cdot \exp\left \{\vec{\eta}^T\cdot \phi(\vec{x}) \right \}d\vec{x} ∫exp{A(η )}⋅p(x ∣ η )dx =exp{A(η )}=∫h(x )⋅exp{η T⋅ϕ(x )}dx .

两边对 η ⃗ \vec{\eta} η 求导为： exp ⁡ { A ( η ⃗ ) } ⋅ A ′ ( η ⃗ ) = ∫ h ( x ⃗ ) ⋅ exp ⁡ { η ⃗ T ⋅ ϕ ( x ⃗ ) } ⋅ ϕ ( x ⃗ ) d x ⃗ \exp\left \{ A(\vec{\eta})\right \}\cdot A'(\vec{\eta})=\int h(\vec{x})\cdot \exp\left \{\vec{\eta}^T\cdot \phi(\vec{x}) \right \}\cdot \phi(\vec{x}) d\vec{x} exp{A(η )}⋅A′(η )=∫h(x )⋅exp{η T⋅ϕ(x )}⋅ϕ(x )dx 。

因此 A ′ ( η ⃗ ) = ∫ $h ( x ⃗ ) \cdot exp { η ⃗ T \cdot ϕ ( x ⃗ ) } / exp { A ( η ⃗ ) }$ ⋅ ϕ ( x ⃗ ) d x ⃗ = ∫ p ( x ⃗ ∣ η ⃗ ) ⋅ ϕ ( x ⃗ ) d x ⃗ = E p ( x ⃗ ∣ η ⃗ ) $ϕ ( x ⃗ )$ A'(\vec{\eta})=\int \left $h(\\vec{x})\\cdot \\exp\\left \\{\\vec{\\eta}\^T\\cdot \\phi(\\vec{x}) \\right \\}/\\exp\\left \\{ A(\\vec{\\eta})\\right \\} \\right$ \cdot \phi(\vec{x}) d\vec{x}=\int p(\vec{x}|\vec{\eta}) \cdot \phi(\vec{x}) d\vec{x}=E_{p(\vec{x} | \vec{\eta})} $\\phi(\\vec{x})$ A′(η )=∫ $h(x )\cdotexp{η T\cdotϕ(x )}/exp{A(η )}$ ⋅ϕ(x )dx =∫p(x ∣η )⋅ϕ(x )dx =Ep(x ∣η ) $ϕ(x )$ .

进一步也可推导得 A ′ ′ ( η ⃗ ) = D p ( x ⃗ ∣ η ⃗ ) $ϕ ( x ⃗ )$ A''(\vec{\eta})=D_{p(\vec{x}\ |\ \vec{\eta})} $\\phi(\\vec{x})$ A′′(η )=Dp(x ∣ η ) $ϕ(x )$ ，推导过程略。

8.4. 最大熵角度解读指数族分布

概率的信息量： − log ⁡ p -\log p −logp.

熵的定义：信息量的期望，即 E p $- log p$ = ∫ − p ( x ) ⋅ log ⁡ p ( x ) d x E_{p} $-\\log p$ =\int -p(x)\cdot \log p(x)dx Ep $-logp$ =∫−p(x)⋅logp(x)dx 或 E p $- log p$ = − ∑ x p ( x ) log ⁡ p ( x ) E_{p} $-\\log p$ =-\sum_xp(x)\log p(x) Ep $-logp$ =−∑xp(x)logp(x).

最大熵：令熵值最大的概率分布情况，通常分布越趋向于等可能/均匀分布，熵值越大，因此最大熵也是等可能的量化分析。

对于一组离散变量的数据，其分布未知，但可以用经验分布代替，即 p ^ ( x ) = c o u n t ( x ) N \hat{p}(x)=\frac{count(x)}{N} p^(x)=Ncount(x)，同时设一向量函数 f ⃗ ( x ) = $f 1 ( x ) f 2 ( x ) \dots f Q ( x )$ \vec{f}(x)= $\\begin{matrix} f_1(x) \& f_2(x) \& \\cdots \& f_Q(x) \\end{matrix}$ f (x)= $f1(x)f2(x)\dotsfQ(x)$ ，则可以对其求期望 E p ^ $f ⃗ ( x )$ = Δ ⃗ E_{\hat{p}} $\\vec{f}(x)$ =\vec{\Delta } Ep^ $f (x)$ =Δ ，因此可以将最大熵问题设为一个优化问题，即 { min ⁡ ∑ x p ( x ) log ⁡ p ( x ) s.t. ∑ x p ( x ) = 1 , E p $f ⃗ ( x )$ = E p ^ $f ⃗ ( x )$ = Δ ⃗ \left\{\begin{matrix} \min \sum_xp(x)\log p(x)\\ \textbf{s.t.}\ \sum_xp(x)=1,\ \ E_p $\\vec{f}(x)$ =E_{\hat{p}} $\\vec{f}(x)$ =\vec{\Delta} \end{matrix}\right. {min∑xp(x)logp(x)s.t. ∑xp(x)=1, Ep $f (x)$ =Ep^ $f (x)$ =Δ .

使用拉格朗日乘数法求解 L ( p , λ 0 , λ ⃗ ) = ∑ x p ( x ) log ⁡ p ( x ) + λ 0 $1 - \sum x p ( x )$ + λ ⃗ T ( Δ ⃗ − E p $f ⃗ ( x )$ ) \mathcal{L}(p,\lambda_0, \vec{\lambda})=\sum_xp(x)\log p(x)+\lambda_0 $1-\\sum_xp(x)$ +\vec{\lambda}^T(\vec{\Delta}-E_p $\\vec{f}(x)$ ) L(p,λ0,λ )=∑xp(x)logp(x)+λ0 $1-\sumxp(x)$ +λ T(Δ −Ep $f (x)$ )，，对 p ( x ) p(x) p(x) 求导得 ∂ L ∂ p = ∑ x ( log ⁡ p + 1 ) − ∑ x λ 0 − ∑ x λ ⃗ T f ⃗ ( x ) \frac{\partial \mathcal{L} }{\partial p}=\sum_x(\log p+1)-\sum_x\lambda_0-\sum_x\vec{\lambda}^T\vec{f}(x) ∂p∂L=∑x(logp+1)−∑xλ0−∑xλ Tf (x)，令其为0，则解得 p ( x ) = exp ⁡ { λ ⃗ T f ⃗ ( x ) + λ 0 − 1 } p(x)=\exp\{ \vec{\lambda}^T\vec{f}(x)+\lambda_0-1 \} p(x)=exp{λ Tf (x)+λ0−1}，因此当 f ⃗ ( x ) = ϕ ( x ) \vec{f}(x)=\phi(x) f (x)=ϕ(x) 时，可以令 η ⃗ = λ ⃗ \vec{\eta}=\vec{\lambda} η =λ ， h ( x ) ⋅ exp ⁡ { − A ( η ⃗ ) } = exp ⁡ { λ 0 − 1 } h(x)\cdot \exp\{ -A(\vec{\eta}) \}=\exp\{ \lambda_0-1 \} h(x)⋅exp{−A(η )}=exp{λ0−1}，此时 p ( x ) p(x) p(x) 为指数族分布。