什么是集成学习

什么是集成学习

  • 集成学习是一种分布式机器学习框架,通过构建多个学习器并将其结合起来完成学习任务。由于在实际应用中单一的学习器往往不能达到理想的学习效果,且有时单一学习器会导致过拟合,因此使用多个学习器进行集成学习往往能够达到更好的学习效果。

  • 根据学习器训练的模型是否为同类模型,集成学习分为同质集成学习和异质集成学习两类。

    1. 若训练的多个模型是同一类型的模型,则为同质集成学习,所用算法称为"基学习算法",每一个模型称为"基学习器"。
    2. 若训练的多个模型非同一类型的模型,则为异质集成学习,每一个模型称为"组件学习器"或"个体学习器"。
  • 根据模型训练和结合策略的不同,集成学习可分为串行方法(Boosting)、并行方法(Bagging)和堆叠方法(Stacking)三类。

  • 根据任务类型是分类还是回归,集成学习的融合方式可以分为投票(voting),平均(averaging)

  • sklearn中的集成算法模块ensemble

    类的功能
    ensemble.AdaBoostClassifier AdaBoost分类
    ensemble.AdaBoostRegressor AdaBoost回归
    ensemble.BaggingClassifier 袋装分类器
    ensemble.BaggingRegressor 袋装回归器
    ensemble.ExtraTreesClassifier Extra-trees分类(超树,极端随机树)
    ensemble.ExtraTreesRegressor Extra-trees回归
    ensemble.GradientBoostingClassifier 梯度提升分类
    ensemble.GradientBoostingRegressor 梯度提升回归
    ensemble.IsolationForest 孤立森林
    ensemble.RandomForestClassifier 随机森林分类
    ensemble.RandomForestRegressor 随机森林回归
    ensemble.RandomTreesEmbedding 完全随机树的集成
    ensemble.VotingClassifier 用于不合适估算器的软投票/多数规则分类器

    集成算法中,有一半以上都是树的集成模型,可以想见决策树在集成中必定是有很好的效果。


相关推荐
mit6.82424 分钟前
[Meetily后端框架] Whisper转录服务器 | 后端服务管理脚本
c++·人工智能·后端·python
Baihai IDP26 分钟前
AI 系统架构的演进:LLM → RAG → AI Workflow → AI Agent
人工智能·ai·系统架构·llm·agent·rag·白海科技
沫儿笙28 分钟前
弧焊机器人气体全方位节能指南
网络·人工智能·机器人
LONGZETECH30 分钟前
【龙泽科技】新能源汽车维护与动力蓄电池检测仿真教学软件【吉利几何G6】
人工智能·科技·汽车·汽车仿真教学软件·汽车教学软件
jndingxin1 小时前
OpenCV 图像哈希类cv::img_hash::AverageHash
人工智能·opencv·哈希算法
ydl11282 小时前
机器学习基础知识【 激活函数、损失函数、优化器、 正则化、调度器、指标函数】
python·机器学习
Jamence2 小时前
多模态大语言模型arxiv论文略读(153)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
晨曦5432102 小时前
量子计算突破:8比特扩散模型实现指数级加速
人工智能
Albert_Lsk2 小时前
【2025/07/11】GitHub 今日热门项目
人工智能·开源·github·开源协议
莫彩2 小时前
【大模型推理论文阅读】Enhancing Latent Computation in Transformerswith Latent Tokens
论文阅读·人工智能·语言模型