贝叶斯网络

​  贝叶斯网络 (Bayesian network),又称为信念网络 (Belief network) 。是一种通过有向无环图 (Directed acyclic graph, DAG)表示一组随机变量及其条件依赖概率概率图模型。概率图中,节点表示随机变量,有向边表示随机变量间的依赖关系,条件概率表示依赖关系的强度。没有父节点的节点用先验概率表达信息。两个节点若无连接则表示相互独立的随机变量。贝叶斯网络中的节点可以表示任意问题,丰富的概率表达能力使能较好地处理不确定性信息或问题。贝叶斯网络中所有节点都是可见的,并且节点间的因果关系可以非常直观地观察到。这些特性都使得贝叶斯网络在众多智能系统中有相当重要的应用。

贝叶斯定理

贝叶斯公式:假设 x x x为属性, y y y为类别
p ( y ∣ x ) = p ( x ∣ y ) p ( y ) p ( x ) p ( y ) 为先验概率, p ( y ∣ x ) 为后验概率 从先验概率 p ( y ) 求出后验概率 p ( y ∣ x ) p(y|x)=\frac{p(x|y)p(y)}{p(x)}\\p(y)为先验概率,p(y|x)为后验概率\\ 从先验概率p(y)求出后验概率p(y|x) p(y∣x)=p(x)p(x∣y)p(y)p(y)为先验概率,p(y∣x)为后验概率从先验概率p(y)求出后验概率p(y∣x)

朴素贝叶斯

​  朴素贝叶斯分类模型 是一种简单的构造分类器的方法。朴素贝叶斯分类模型是将问题分为特征向量决策向量 两类,并假设问题的特征向量都是相互独立地作用于决策向量 的,即问题的特征之间都是互不相关的。尽管有这样过于简单的假设,但朴素贝叶斯分类模型能指数级降低贝叶斯网络构建的复杂性,同时还能较好地处理训练样本的噪声和无关属性。

​  简单来说,朴素贝叶斯分类就是:通过某对象的先验概率利用贝叶斯公式计算其后验概率,即该对象属于某一类概率,选择后验概率最大的。


​  假设问题的特征向量 为 X = { x 1 , x 2 , x 3 . . x n } X=\{x_1,x_2,x_3..x_n\} X={x1,x2,x3..xn},且 x 1 , x 2 . . x n {x_1,x_2..x_n} x1,x2..xn相互独立 ,则 p ( x ∣ y ) = Π n i = 1 p ( x i ∣ y ) p(x|y)=\underset{i=1}{\overset{n}{\Pi}}p(x_i|y) p(x∣y)=i=1Πnp(xi∣y),则贝叶斯公式 p ( y ∣ x ) = p ( y ) p ( x ∣ y ) p ( x ) p(y|x)=\frac{p(y)p(x|y)}{p(x)} p(y∣x)=p(x)p(y)p(x∣y),可以改成 p ( y ∣ x ) = p ( y ) Π n i = 1 p ( x i ∣ y ) p ( x ) p(y|x)=\frac{p(y)\underset{i=1}{\overset{n}{\Pi}}p(x_i|y)}{p(x)} p(y∣x)=p(x)p(y)i=1Πnp(xi∣y),先验概率 p ( y ) p(y) p(y)可以通过训练集得出。对于给定 y = Y y=Y y=Y, p ( y = Y ∣ x ) = p ( y = Y ) Π n i = 1 p ( x i ∣ y = Y ) p ( x ) p(y=Y|x)=\frac{p(y=Y)\underset{i=1}{\overset{n}{\Pi}}p(x_i|y=Y)}{p(x)} p(y=Y∣x)=p(x)p(y=Y)i=1Πnp(xi∣y=Y),又因为对于同一特征向量 X X X,比较后验概率大小 p ( y = Y ∣ x ) p(y=Y|x) p(y=Y∣x)时,贝叶斯公式中分母对其没有影响,因为可以直接比较分子大小 ,因此省略分母。因此最终找到 p ( y ) Π n i = 1 p ( x i ∣ y ) p(y)\underset{i=1}{\overset{n}{\Pi}}p(x_i|y) p(y)i=1Πnp(xi∣y)最大的类别 y y y即可。

​  要计算 p ( y = Y ∣ x ) p(y=Y|x) p(y=Y∣x)则需要计算 p ( y = Y ) p(y=Y) p(y=Y)和 Π n i = 1 p ( x i ∣ y = Y ) \underset{i=1}{\overset{n}{\Pi}}p(x_i|y=Y) i=1Πnp(xi∣y=Y)这两部分。对于先验概率 p ( y = Y ) p(y=Y) p(y=Y)可以通过训练集中每类样本所占比例进行估计。对于 Π n i = 1 p ( x i ∣ y = Y ) \underset{i=1}{\overset{n}{\Pi}}p(x_i|y=Y) i=1Πnp(xi∣y=Y),对于不同特征属性有不同的方法

  • 对于离散型的特征属性 x i x_i xi,可以用类 y y y中的属性值等于 x i x_i xi的样本比例来进行估计。

  • 对于连续性的特征属性 x i x_i xi,通常先将++x i x_i xi离散化++ ,然后计算属于类 y y y的训练样本落在 x i x_i xi对应离散区别的比例估计 p ( x i ∣ Y ) p(x_i|Y) p(xi∣Y)。也可以假设 p ( x i ∣ Y ) p(x_i|Y) p(xi∣Y)的概率分布,如正态分布,然后用训练样本估计其中的参数。

  • 而在 p ( x i ∣ Y ) = 0 p(x_i|Y)=0 p(xi∣Y)=0的时候,该概率与其他概率相乘的时候会把其它概率覆盖,因此需要引入Laplace修正 。做法是对所有类别下的划分计数都加一,从而避免了等于零的情况出现,并且在训练集较大时,修正对先验的影响也会降低到可以忽略不计

​  其实 p ( y = Y ) p(y=Y) p(y=Y)和 Π n i = 1 p ( x i ∣ y = Y ) \underset{i=1}{\overset{n}{\Pi}}p(x_i|y=Y) i=1Πnp(xi∣y=Y)这两部分都是通过训练集数据得到的,我们在分类应用时,只是代入一下。

相关推荐
AI极客菌1 小时前
Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。
人工智能·计算机视觉·ai作画·stable diffusion·aigc·flux·人工智能作画
阿_旭1 小时前
一文读懂| 自注意力与交叉注意力机制在计算机视觉中作用与基本原理
人工智能·深度学习·计算机视觉·cross-attention·self-attention
王哈哈^_^1 小时前
【数据集】【YOLO】【目标检测】交通事故识别数据集 8939 张,YOLO道路事故目标检测实战训练教程!
前端·人工智能·深度学习·yolo·目标检测·计算机视觉·pyqt
Power20246662 小时前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k2 小时前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫2 小时前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法
沉下心来学鲁班2 小时前
复现LLM:带你从零认识语言模型
人工智能·语言模型
数据猎手小k2 小时前
AndroidLab:一个系统化的Android代理框架,包含操作环境和可复现的基准测试,支持大型语言模型和多模态模型。
android·人工智能·机器学习·语言模型
YRr YRr2 小时前
深度学习:循环神经网络(RNN)详解
人工智能·rnn·深度学习
sp_fyf_20243 小时前
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-11-01
人工智能·深度学习·神经网络·算法·机器学习·语言模型·数据挖掘