概念
集成学习通过构建并结合多个学习器来完成学习任务
模型
集成学习的结果通过投票法(少数服从多数)产生,所以学习器要有多样性,精度高不一定是好事
1.Bagging模型 :并行 训练多个学习器
典型代表:随机森林
随机:数据采样随机,特征选择随机
森林:多个决策树并行放在一起
优点:能够学习高维数据,不用做特征选择;可以进行可视化 展示,便于分析;训练完成后,能给出哪些特征 更重要
理论上,树的数量越多训练效果越好,但当树的数量达到一个值时,增加树的数量作用不大
2.Boosting模型 :先训练出一个基学习器,在此基础上进行调整提升训练效果,以此类推,直至学习器的数量达到预设的值,最终将这些学习器进行加权结合
典型代表:AdaBoost 、xgBoost
AdaBoost会根据前一次的分类效果调整数据权重
3.Stacking堆叠模型 :第一阶段得出各自结果,第二阶段再用前一阶段的结果训练
适合竞赛使用