基于Python的机器学习系列(17):梯度提升回归(Gradient Boosting Regression)

简介

梯度提升(Gradient Boosting)是一种强大的集成学习方法,类似于AdaBoost,但与其不同的是,梯度提升通过在每一步添加新的预测器来减少前一步预测器的残差。这种方法通过逐步改进模型,能够有效提高预测准确性。

梯度提升回归的工作原理

在梯度提升回归中,我们逐步添加预测器来修正模型的残差。以下是梯度提升的基本步骤:

  1. 初始化模型:选择一个初始预测器 h0(x),计算该预测器的预测值。
  2. 计算残差:计算每个样本的残差,残差是实际值与当前预测值之间的差异。
  3. 训练新预测器:用计算得到的残差作为目标,训练一个新的预测器 h1(x)。
  4. 更新模型:将新预测器的预测结果加到现有模型中。
  5. 重复步骤:重复上述步骤,逐步添加更多的预测器,以减少残差。

目标函数与残差

在回归问题中,我们希望通过添加新的预测器来最小化残差。具体来说,对于每个样本 (x(i),y(i)),我们计算预测器的残差:

我们希望新的预测器 h1(x)能够进一步减少这个残差:

通过这样的方式,我们可以不断改进模型的预测能力。

梯度提升回归的损失函数

在回归中,我们通常使用均方误差(MSE)作为损失函数:

我们的目标是通过每一步最小化残差,从而最小化整体损失函数。

代码示例

下面的代码示例展示了如何使用sklearn中的GradientBoostingRegressor实现梯度提升回归:

python 复制代码
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.metrics import mean_squared_error

# 生成数据集
X, y = make_regression(n_samples=500, noise=0.2, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建和训练模型
gbr = GradientBoostingRegressor(n_estimators=100, learning_rate=0.1, max_depth=3, random_state=42)
gbr.fit(X_train, y_train)

# 进行预测和评估
y_pred = gbr.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
print(f"均方误差: {mse:.2f}")

结语

与之前讨论的决策树、Bagging、随机森林相比,梯度提升回归通过逐步优化模型的残差来提升预测性能。决策树和Bagging方法通过集成多个模型来减少方差,而随机森林进一步通过随机特征选择来去相关性。梯度提升则通过序列化的方式不断改进模型,强调对残差的逐步修正。每种方法都有其独特的优势和适用场景,选择合适的模型可以显著提高预测的准确性。

如果你觉得这篇博文对你有帮助,请点赞、收藏、关注我,并且可以打赏支持我!

欢迎关注我的后续博文,我将分享更多关于人工智能、自然语言处理和计算机视觉的精彩内容。

谢谢大家的支持!

相关推荐
明灯L7 分钟前
《函数基础与内存机制深度剖析:从 return 语句到各类经典编程题详解》
经验分享·python·算法·链表·经典例题
databook8 分钟前
不平衡样本数据的救星:数据再分配策略
python·机器学习·scikit-learn
碳基学AI13 分钟前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义免费下载方法
大数据·人工智能·python·gpt·算法·语言模型·集成学习
niuniu_66614 分钟前
简单的自动化场景(以 Chrome 浏览器 为例)
运维·chrome·python·selenium·测试工具·自动化·安全性测试
补三补四16 分钟前
机器学习-聚类分析算法
人工智能·深度学习·算法·机器学习
FearlessBlot17 分钟前
Pyinstaller 打包flask_socketio为exe程序后出现:ValueError: Invalid async_mode specified
python·flask
独好紫罗兰26 分钟前
洛谷题单3-P5718 【深基4.例2】找最小值-python-流程图重构
开发语言·python·算法
正脉科工 CAE仿真40 分钟前
基于ANSYS 概率设计和APDL编程的结构可靠性设计分析
人工智能·python·算法
程序员一诺1 小时前
【Django开发】前后端分离django美多商城项目第15篇:商品搜索,1. Haystack介绍和安装配置【附代码文档】
后端·python·django·框架
荷包蛋蛋怪1 小时前
【北京化工大学】 神经网络与深度学习 实验6 MATAR图像分类
人工智能·深度学习·神经网络·opencv·机器学习·计算机视觉·分类