什么是集成学习

什么是集成学习

  • 集成学习是一种分布式机器学习框架,通过构建多个学习器并将其结合起来完成学习任务。由于在实际应用中单一的学习器往往不能达到理想的学习效果,且有时单一学习器会导致过拟合,因此使用多个学习器进行集成学习往往能够达到更好的学习效果。

  • 根据学习器训练的模型是否为同类模型,集成学习分为同质集成学习和异质集成学习两类。

    1. 若训练的多个模型是同一类型的模型,则为同质集成学习,所用算法称为"基学习算法",每一个模型称为"基学习器"。
    2. 若训练的多个模型非同一类型的模型,则为异质集成学习,每一个模型称为"组件学习器"或"个体学习器"。
  • 根据模型训练和结合策略的不同,集成学习可分为串行方法(Boosting)、并行方法(Bagging)和堆叠方法(Stacking)三类。

  • 根据任务类型是分类还是回归,集成学习的融合方式可以分为投票(voting),平均(averaging)

    ​

  • sklearn中的集成算法模块ensemble

    类 类的功能
    ensemble.AdaBoostClassifier AdaBoost分类
    ensemble.AdaBoostRegressor AdaBoost回归
    ensemble.BaggingClassifier 袋装分类器
    ensemble.BaggingRegressor 袋装回归器
    ensemble.ExtraTreesClassifier Extra-trees分类(超树,极端随机树)
    ensemble.ExtraTreesRegressor Extra-trees回归
    ensemble.GradientBoostingClassifier 梯度提升分类
    ensemble.GradientBoostingRegressor 梯度提升回归
    ensemble.IsolationForest 孤立森林
    ensemble.RandomForestClassifier 随机森林分类
    ensemble.RandomForestRegressor 随机森林回归
    ensemble.RandomTreesEmbedding 完全随机树的集成
    ensemble.VotingClassifier 用于不合适估算器的软投票/多数规则分类器

    集成算法中,有一半以上都是树的集成模型,可以想见决策树在集成中必定是有很好的效果。


相关推荐
AI小怪兽11 分钟前
你的视觉基础模型会说“植物语“吗?面向目标检测的视觉基础模型植物语法
人工智能·深度学习·机器学习
峯58012 分钟前
机器学习05,用 scikit-learn 做加州房价预测的完整入门工程
人工智能·机器学习·scikit-learn
伞伞悦读32 分钟前
【第86期】分类指标与错误成本对照的实验与排查
大数据·人工智能·机器学习
深兰科技41 分钟前
走出进博展馆寻AI方案,巴西政商联合体参访深兰科技洽商中巴产业数字化合作
人工智能·typescript·深兰科技·中巴产业数字化·巴西政商联合体·ai方案·进博会
美团技术团队42 分钟前
EMNLP 2026 | 美团技术团队学术论文精选
人工智能
Summer-Bright1 小时前
企业落地智能体,供应链签名还是空白:1862 个 MCP 服务器无认证裸奔
服务器·人工智能·github·mcp
ZhengEnCi1 小时前
Agent 只输出计划不调用工具怎么办:从终止信号错位到结果验收的四层防线
人工智能·agent
xsd202411181 小时前
把模型从 FP32 压到 INT8:PTQ、QAT 与 PyTorch 量化全链路
人工智能
AI源码1 小时前
基于机器学习的优衣库销售预测与决策系统
人工智能·机器学习
可夫小子2 小时前
13 条数据跑出 65.87 分:这场 48 小时真机挑战赛,拆穿了具身智能的落地真相
人工智能