第8章:集成学习

个体与集成

  • 同质:相同的基学习器,实现容易,但是很难保证差异性。
  • 异质:不同的基学习器,实现复杂,不同模型之间本来就存在差异性,但是很难直接比较不同模型的输出,需要复杂的配准方法。




好而不同


boosting

Adaboost


求解h







求解alpha


bagging

随机森林

数据集划分:使用类似自助法的k折交叉验证,有放回的取出,分别训练T个决策树。

随机:一个是训练集的随机,一个是属性的随机(每次在当前属性中随机取K个构成属性子集,在子集中选择信息增益最大的属性)

结合策略

集合的好处

  • 可能多个假设在训练集上达到同等性能,使用单学习器可能因为误选而导致泛化性能不佳。
  • 单个可能陷入局部极小点。
  • 可以使相应的假设空间扩大。

结合方法

平均法

  • 简单平均
  • 加权平均

投票法

  • 绝对多数投票(大于一半则预测为该标记,否则拒绝)
  • 相对多数投票
  • 加权投票法

学习法

利用初始数据集训练出初级学习器,然后生成一个新数据集,训练一个次级学习器。

多样性增强

  • 数据样本扰动
  • 输入属性扰动
  • 输出表示扰动
  • 算法参数扰动
相关推荐
吕永强6 分钟前
AI 在金融:重塑金融服务的智能革命
人工智能·金融·科普
Shining059610 分钟前
Datawhale AI 夏令营—科大讯飞AI大赛(大模型技术)—让大模型理解表格数据(列车信息表)
人工智能·学习·其他
大数据张老师35 分钟前
用 AI 做数据分析:从“数字”里挖“规律”
大数据·人工智能
音视频牛哥1 小时前
如何打造毫秒级响应的RTSP播放器:架构拆解与实战优化指南
人工智能·机器人·音视频开发
张较瘦_1 小时前
[论文阅读] 人工智能 + 软件工程 | NoCode-bench:评估LLM无代码功能添加能力的新基准
论文阅读·人工智能·软件工程
go54631584651 小时前
Python点阵字生成与优化:从基础实现到高级渲染技术
开发语言·人工智能·python·深度学习·分类·数据挖掘
Coovally AI模型快速验证1 小时前
避开算力坑!无人机桥梁检测场景下YOLO模型选型指南
人工智能·深度学习·yolo·计算机视觉·目标跟踪·无人机
巫婆理发2222 小时前
神经网络(第二课第一周)
人工智能·深度学习·神经网络
欧阳小猜2 小时前
OpenCV-图像预处理➁【图像插值方法、边缘填充策略、图像矫正、掩膜应用、水印添加,图像的噪点消除】
人工智能·opencv·计算机视觉
旭日东升的xu.2 小时前
OpenCV(04)梯度处理,边缘检测,绘制轮廓,凸包特征检测,轮廓特征查找
人工智能·opencv·计算机视觉