贝叶斯学习

贝叶斯学习

文章目录

贝叶斯学习主要是依靠先验概率来推出后验概率,然后更具后验概率去验证。其主流分为朴素贝叶斯和高斯分布下的贝叶斯估计。

相关概率知识

**先验概率:**指根据以往经验和分析。在实验或采样前就可以得到的概率。

**后验概率:**指某件事已经发生,想要计算这件事发生的原因是由某个因素引起的概率。

**联合概率:**指是事件同时发生的概率,例如现在A,B两个事件同时发生的概率,记为P(A,B)、P(A∩B)、P(AB)。

若A、B事件相互独立,则存在
P ( A B ) = P ( A ) P ( B ) P(AB)=P(A)P(B) P(AB)=P(A)P(B)
条件概率 :指一个事件发生后另一个事件发生的概率,一般情况下B表示某一个因素,A表示结果,P(A|B)表示在因素B的条件下A发生的概率,即由因求果,其计算公式如下:
P ( B ∣ A ) = P ( A B ) P ( A ) P(B|A)=\frac{P(AB)}{P(A)} P(B∣A)=P(A)P(AB)

若A、B事件相互独立,则存在
P ( B ∣ A ) = P ( A B ) P ( A ) = P ( A ) P ( B ) P ( A ) = P ( B ) P(B|A)=\frac{P(AB)}{P(A)}=\frac{P(A)P(B)}{P(A)}=P(B) P(B∣A)=P(A)P(AB)=P(A)P(A)P(B)=P(B)
全概率公式:
P ( A ) = ∑ i = 1 n P ( B i ) P ( A ∣ B i ) P(A)=\sum_{i=1}^nP(B_i)P(A|B_i) P(A)=i=1∑nP(Bi)P(A∣Bi)
贝叶斯公式:
P ( B i ∣ A ) = P ( B i A ) P ( A ) = P ( A ∣ B i ) P ( B ) P ( A ) = P ( A ∣ B i ) P ( B ) ∑ i = 1 n P ( B i ) P ( A ∣ B i ) P(B_i|A)=\frac{P(B_iA)}{P(A)}=\frac{P(A|B_i)P(B)}{P(A)}=\frac{P(A|B_i)P(B)}{\sum_{i=1}^nP(B_i)P(A|B_i)} P(Bi∣A)=P(A)P(BiA)=P(A)P(A∣Bi)P(B)=∑i=1nP(Bi)P(A∣Bi)P(A∣Bi)P(B)

高斯分布:

若随机变量 X X X满足 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) X∼N(μ,σ2),其中 μ \mu μ与 σ \sigma σ分别为均值与标准差
f ( x ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} f(x)=2π σ1e−2σ2(x−μ)2
标准差:
S = ∑ ( x i − x ‾ ) 2 m − 1 S=\sqrt{\frac{\sum (x_i-\overline{x})^2}{m-1}} S=m−1∑(xi−x)2
协方差:
E = ∑ ( x i − x ‾ ) ( y i − y ‾ ) m − 1 E=\frac{\sum(x_i-\overline x)(y_i-\overline y)}{m-1} E=m−1∑(xi−x)(yi−y)
协方差矩阵:

E 11 E 12 ⋯ E 1 n E 21 E 22 ⋯ E 2 n ⋮ ⋮ ⋱ ⋮ E m 1 E m 2 ⋯ E m n \] \\begin{bmatrix} E_{11}\&E_{12}\&{\\cdots}\&E_{1n}\\\\ E_{21}\&E_{22}\&{\\cdots}\&E_{2n}\\\\ {\\vdots}\&{\\vdots}\&{\\ddots}\&{\\vdots}\\\\ E_{m1}\&E_{m2}\&{\\cdots}\&E_{mn}\\\\ \\end{bmatrix} E11E21⋮Em1E12E22⋮Em2⋯⋯⋱⋯E1nE2n⋮Emn ### 朴素贝叶斯 对于 x i x_i xi离散样本的情况下,其中 D c D_c Dc为对样本 c c c的数目统计: P ( c ) = ∣ ∣ D c ∣ ∣ ∣ ∣ D ∣ ∣ P(c)=\\frac{\|\|D_c\|\|}{\|\|D\|\|} P(c)=∣∣D∣∣∣∣Dc∣∣ P ( x i ∣ c ) = ∣ D x i , c ∣ ∣ D c ∣ P(x_{i}\|c)=\\frac{\|D_{x_i,c}\|}{\|D_c\|} P(xi∣c)=∣Dc∣∣Dxi,c∣ 对于 x i x_i xi为连续样本的情况下: P ( x i ∣ c ) = 1 2 π σ c , j e − ( x i − μ c ; i ) 2 2 σ c , i 2 P(x_i\|c)=\\frac{1}{\\sqrt{2\\pi}\\sigma_{c,j}}e\^{-\\frac{(x_i-\\mu_{c;i})\^2}{2\\sigma_{c,i}\^2}} P(xi∣c)=2π σc,j1e−2σc,i2(xi−μc;i)2 在对于多特征的样本,朴素贝叶斯假设各个特征独立,即特征A与B满足 P ( A B ) = P ( A ) P ( B ) P(AB)=P(A)P(B) P(AB)=P(A)P(B) 其中 c c c为结果, x \\pmb x x为特征 P ( c ∣ x ) = P ( c ) P ( x ∣ c ) P ( x ) ∝ P ( c ) P ( x ∣ c ) = P ( c ) Π i = 1 d P ( x i ∣ c ) P(c\|\\pmb x)=\\frac{P(c)P(\\pmb x\|c)}{P(\\pmb x)}\\propto P(c)P(\\pmb x\|c)=P(c)\\Pi_{i=1}\^{d}P(x_i\|c) P(c∣x)=P(x)P(c)P(x∣c)∝P(c)P(x∣c)=P(c)Πi=1dP(xi∣c) 为了避免出现出现 P ( c ) = 0 P(c)=0 P(c)=0的情况,采用拉普拉斯平滑进行处理 P ( c ) = ∣ ∣ D c ∣ ∣ + 1 ∣ ∣ D ∣ ∣ + N N 为类别数 P(c)=\\frac{\|\|D_c\|\|+1}{\|\|D\|\|+N} \\ \\ \\ N为类别数 P(c)=∣∣D∣∣+N∣∣Dc∣∣+1 N为类别数 P ( x i ∣ c ) = ∣ ∣ D c , i ∣ ∣ + 1 ∣ ∣ D c ∣ ∣ + N i N i 为 x i 可能取的类别数 P(x_i \|c)=\\frac{\|\|D_{c,i}\|\|+1}{\|\|D_c\|\|+N_i} \\ \\ \\ N_i为x_i可能取的类别数 P(xi∣c)=∣∣Dc∣∣+Ni∣∣Dc,i∣∣+1 Ni为xi可能取的类别数 ### 多维正态密度贝叶斯 多维正态分布的概率密度 N ∼ ( μ , Σ ) N\\sim(\\mu,\\Sigma) N∼(μ,Σ), μ \\mu μ, Σ \\Sigma Σ分别为正态分布的均值与协方差矩阵 P ( x ) = 1 ( 2 π ) d / 2 ∣ Σ ∣ e − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) P(x)=\\frac{1}{(2\\pi)\^{d/2}\|\\Sigma\|}e\^{-\\frac{1}{2}(x-\\mu)\^T\\Sigma\^{-1}(x-\\mu)} P(x)=(2π)d/2∣Σ∣1e−21(x−μ)TΣ−1(x−μ) ![image-20230923221434176](https://file.jishuzhan.net/article/1713813096268566529/ba38474e1ef37ad731664e92dce0f1a6.webp) ![image-20230923221527206](https://file.jishuzhan.net/article/1713813096268566529/f912182e3896b7ed618ef925cd80a634.webp) ![image-20230923221542285](https://file.jishuzhan.net/article/1713813096268566529/72b158b0025ebe2e628175e848f7229e.webp) ![image-20230923221557942](https://file.jishuzhan.net/article/1713813096268566529/b3b299163360822ed0ab94d76e2b5663.webp) ![image-20230923221611946](https://file.jishuzhan.net/article/1713813096268566529/840ff4c6c47b774ed4d13348ac5ffbbc.webp) ![image-20230923221627533](https://file.jishuzhan.net/article/1713813096268566529/86977ac935e382947fa3e7d8264ff006.webp) ![image-20230923221640652](https://file.jishuzhan.net/article/1713813096268566529/18e1394888186a2114d60c618c585b15.webp) ![image-20230923221652491](https://file.jishuzhan.net/article/1713813096268566529/483ed55e9b0dcc5ad92989857903c1d8.webp)

相关推荐
无难事者若执2 小时前
新手村:逻辑回归-理解03:逻辑回归中的最大似然函数
算法·机器学习·逻辑回归
达柳斯·绍达华·宁2 小时前
自动驾驶04:点云预处理03
人工智能·机器学习·自动驾驶
IT从业者张某某2 小时前
机器学习-04-分类算法-03KNN算法案例
算法·机器学习·分类
补三补四2 小时前
k近邻算法K-Nearest Neighbors(KNN)
人工智能·机器学习
databook3 小时前
线性判别分析(LDA):降维与分类的完美结合
python·机器学习·scikit-learn
硅谷秋水3 小时前
大语言模型智体的综述:方法论、应用和挑战(下)
人工智能·深度学习·机器学习·语言模型·自然语言处理
林泽毅4 小时前
SwanLab Slack通知插件:让AI训练状态同步更及时
深度学习·机器学习·强化学习
Shockang5 小时前
机器学习的一百个概念(5)数据增强
人工智能·机器学习