机器学习之生成式模型与判别式模型的区别

根本区别在于是否计算了联合分布 P ( X , Y ) P(X,Y) P(X,Y)和是否比较了模型输出的概率大小.

生成式模型的特点

  • 对联合分布进行建模,然后通过朴素贝叶斯来求条件概率,选择使得条件概率最大的 Y Y Y
  • 可以还原出联合概率分布 P ( X , Y ) P(X,Y) P(X,Y)
  • 学习收敛速度快,当样本容量增加时,学到的模型可以更快地收敛于真实模型
  • 应对存在隐变量(不可观测的变量)的场景
  • 相比于判别式模型,往往模型效果差一些
  • 学习到的数据本身信息更多,能反应数据本身特性
  • 学习成本较高,需要更多的计算资源
  • 需要的样本数更多,样本较少时学习效果较差

判别式模型的特点

  • 不能还原出联合概率分布 P ( X , Y ) P(X,Y) P(X,Y)
  • 不能处理存在隐变量的场景
  • 由于直接学习的是条件概率 P ( X ∣ Y ) P(X|Y) P(X∣Y)或者决策函数 f ( X ) f(X) f(X),往往学习的准确率更高
  • 由于直接学习的是 P ( X ∣ Y ) P(X|Y) P(X∣Y)或者 f ( X ) f(X) f(X),可以对数据进行各种程序熵的抽象、定义特征并使用特征,可以简化学习问题
  • 对条件概率建模,学习不同类别之间的最优边界
  • 捕捉不同类别特征的差异信息,不学习本身分布信息,无法反映数据本身特性
  • 学习成本较低,需要的计算资源较少
  • 需要的样本数可以较少,少样本也能很好学习

典型的模型

  • 常见的判别式模型有:线性回归、限行判别分析、SVM、神经网络、K近邻、决策树、最大熵模型、boosting、条件随机场
  • 常见的生成式模型: HMM、朴素贝叶斯、GMM、LDA等
相关推荐
B站_计算机毕业设计之家6 分钟前
python电商商品评论数据分析可视化系统 爬虫 数据采集 Flask框架 NLP情感分析 LDA主题分析 Bayes评论分类(源码) ✅
大数据·hadoop·爬虫·python·算法·数据分析·1024程序员节
小白菜又菜40 分钟前
Leetcode 1518. Water Bottles
算法·leetcode·职场和发展
长存祈月心1 小时前
Rust Option 与 Result深度解析
算法
杭州杭州杭州1 小时前
机器学习(3)---线性算法,决策树,神经网络,支持向量机
算法·决策树·机器学习
萌萌可爱郭德纲2 小时前
基于AI智能算法的装备结构可靠性分析与优化设计技术专题
人工智能·机器学习·支持向量机·发动机·疲劳寿命
诺....2 小时前
机器学习库的决策树绘制
人工智能·决策树·机器学习
nju_spy2 小时前
NJU-SME 人工智能(三) -- 正则化 + 分类 + SVM
人工智能·机器学习·支持向量机·逻辑回归·对偶问题·正则化·auc-roc
不语n3 小时前
快速排序(Quick Sort)详解与图解
数据结构·算法·排序算法·快速排序·双指针排序
电鱼智能的电小鱼3 小时前
基于电鱼 ARM 工控机的AI视频智能分析方案:让传统监控变得更聪明
网络·arm开发·人工智能·嵌入式硬件·算法·音视频