今天聊聊决策树(DecisionTree):决策树是机器学习的一种.其结构是一种树形结构.树中每个内部节点代表一个特征上的判断,每个分支代表一个判断结果的输出,每个叶子节点代表一种分类结果.决策树的生成过程:选择具有较强分类能力的特征,根据选择的特征生成决策树.决策树容易过拟合,正则化剪枝.预剪枝和后剪枝.是一种常用的二分类的算法.通常使用CART.可用作分类和回归任务:就是通过一层一层的"是/否"问题,不断对数据进行逻辑判断和划分,把一堆数据分到不同的小群体里.相关API为:上课sklearn.tree.DecisionTreeClassifier()和sklearn.tree.DecisionTreeRegressor().集成学习思想:多个弱学习器(决策树)组合成一个强学习器.也是机器学习的一种算法.常见的两中分类有:Bagging,Boosting.Bagging:每个决策树随机有放回抽取数据集.每个树之间是并行关系,最后通过平权投票对每个树的输出结果投票.常用于随机森林算法.Boosting:每个决策树都是获得整个数据集,每个树之间是窜行关系,后面的树能获取前面的树的不足,越靠近输出位置的树就被赋予更高的权重.因此它是对输出结果选择加权投票.常用XGBoost算法.此外还有stacking,它主要是再构建一个元学习器层对随机森林等算法结果再进行一次处理再输出.