机器学习之生成式模型与判别式模型的区别

根本区别在于是否计算了联合分布 P ( X , Y ) P(X,Y) P(X,Y)和是否比较了模型输出的概率大小.

生成式模型的特点

  • 对联合分布进行建模,然后通过朴素贝叶斯来求条件概率,选择使得条件概率最大的 Y Y Y
  • 可以还原出联合概率分布 P ( X , Y ) P(X,Y) P(X,Y)
  • 学习收敛速度快,当样本容量增加时,学到的模型可以更快地收敛于真实模型
  • 应对存在隐变量(不可观测的变量)的场景
  • 相比于判别式模型,往往模型效果差一些
  • 学习到的数据本身信息更多,能反应数据本身特性
  • 学习成本较高,需要更多的计算资源
  • 需要的样本数更多,样本较少时学习效果较差

判别式模型的特点

  • 不能还原出联合概率分布 P ( X , Y ) P(X,Y) P(X,Y)
  • 不能处理存在隐变量的场景
  • 由于直接学习的是条件概率 P ( X ∣ Y ) P(X|Y) P(X∣Y)或者决策函数 f ( X ) f(X) f(X),往往学习的准确率更高
  • 由于直接学习的是 P ( X ∣ Y ) P(X|Y) P(X∣Y)或者 f ( X ) f(X) f(X),可以对数据进行各种程序熵的抽象、定义特征并使用特征,可以简化学习问题
  • 对条件概率建模,学习不同类别之间的最优边界
  • 捕捉不同类别特征的差异信息,不学习本身分布信息,无法反映数据本身特性
  • 学习成本较低,需要的计算资源较少
  • 需要的样本数可以较少,少样本也能很好学习

典型的模型

  • 常见的判别式模型有:线性回归、限行判别分析、SVM、神经网络、K近邻、决策树、最大熵模型、boosting、条件随机场
  • 常见的生成式模型: HMM、朴素贝叶斯、GMM、LDA等
相关推荐
SweetCode几秒前
裴蜀定理:整数解的奥秘
数据结构·python·线性代数·算法·机器学习
ゞ 正在缓冲99%…13 分钟前
leetcode76.最小覆盖子串
java·算法·leetcode·字符串·双指针·滑动窗口
xuanjiong14 分钟前
纯个人整理,蓝桥杯使用的算法模板day2(0-1背包问题),手打个人理解注释,超全面,且均已验证成功(附带详细手写“模拟流程图”,全网首个
算法·蓝桥杯·动态规划
惊鸿.Jh33 分钟前
【滑动窗口】3254. 长度为 K 的子数组的能量值 I
数据结构·算法·leetcode
明灯L34 分钟前
《函数基础与内存机制深度剖析:从 return 语句到各类经典编程题详解》
经验分享·python·算法·链表·经典例题
databook35 分钟前
不平衡样本数据的救星:数据再分配策略
python·机器学习·scikit-learn
碳基学AI40 分钟前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义免费下载方法
大数据·人工智能·python·gpt·算法·语言模型·集成学习
补三补四43 分钟前
机器学习-聚类分析算法
人工智能·深度学习·算法·机器学习
独好紫罗兰1 小时前
洛谷题单3-P5718 【深基4.例2】找最小值-python-流程图重构
开发语言·python·算法
正脉科工 CAE仿真1 小时前
基于ANSYS 概率设计和APDL编程的结构可靠性设计分析
人工智能·python·算法