梯度提升

深度神经网络——什么是梯度提升？在数据科学竞赛中，梯度提升模型（Gradient Boosting）是一种非常强大的工具，它能够将多个弱学习模型组合起来，形成一个强学习模型。这个过程是通过逐步添加弱学习者来实现的，每个新加入的弱学习者都专注于当前整体模型的弱点，从而逐步提高预测的准确性。

梯度提升决策树（Gradient Boosting Decision Trees，GBDT）提升树是以分类树或回归树为基本分类器的提升方法。提升树被认为是统计学习中性能最好的方法之一。提升方法实际采用加法模型(即基函数的线性组合)与前向分步算法。以决策树为基函数的提升方法称为提升树（boosting tree）。对分类问题决策树是二叉分类树，对回归问题决策树是二叉回归树。