梯度提升回归(概念+实例)

目录

前言

一、基本概念

[1. 弱学习器(Weak Learners)](#1. 弱学习器(Weak Learners))

[2. 提升(Boosting)](#2. 提升(Boosting))

[3. 梯度提升算法(Gradient Boosting Algorithm)](#3. 梯度提升算法(Gradient Boosting Algorithm))

[3.1. 梯度下降](#3.1. 梯度下降)

[3.2. 回归问题中的梯度提升](#3.2. 回归问题中的梯度提升)

[4. 梯度提升回归的训练过程](#4. 梯度提升回归的训练过程)

[5. 梯度提升回归的优缺点](#5. 梯度提升回归的优缺点)

[5.1. 优点](#5.1. 优点)

[5.2. 缺点](#5.2. 缺点)

二、实例


前言

梯度提升回归(Gradient Boosting Regression)是一种强大的机器学习技术,常用于解决回归问题。它是基于集成学习(Ensemble Learning)的方法之一,在数据科学和机器学习领域广泛应用。梯度提升回归通过结合多个弱学习器(通常是决策树)来构建一个强大的模型,从而达到更好的预测性能。

一、基本概念

1. 弱学习器(Weak Learners)

在了解梯度提升回归之前,首先需要了解弱学习器的概念。弱学习器指的是在某个学习任务上的表现略优于随机猜测的学习器。在梯度提升回归中,常用的弱学习器是决策树。决策树是一种基于树形结构的模型,可以对输入数据进行分类或者回归。

2. 提升(Boosting)

提升是一种集成学习方法,通过结合多个弱学习器来构建一个强大的模型。提升算法通过迭代训练,每一轮训练都调整学习器的权重,使得之前训练得不好的样本在后续的训练中得到更多的关注,从而逐步提高整体模型的性能。

3. 梯度提升算法(Gradient Boosting Algorithm)

梯度提升算法是一种提升算法的变体,它通过最小化损失函数的梯度来优化模型。具体来说,梯度提升算法的核心思想是通过拟合残差来训练下一个弱学习器,从而逐步减小整体模型在训练集上的误差。

3.1. 梯度下降

在梯度提升算法中,每一轮训练都会计算损失函数关于模型预测值的梯度,然后利用这个梯度来更新模型参数,使得损失函数逐步减小。这个过程类似于梯度下降算法,但是不同的是,梯度提升算法是在模型空间中进行优化,而不是参数空间。

3.2. 回归问题中的梯度提升

在回归问题中,梯度提升算法的目标是最小化预测值与真实值之间的均方误差(Mean Squared Error,MSE)。每一轮训练,模型会计算残差(真实值与当前模型预测值之间的差异),然后拟合一个新的弱学习器来预测这些残差,从而逐步减小整体模型的误差。

4. 梯度提升回归的训练过程

梯度提升回归的训练过程可以分为以下几个步骤:

4.1. 初始化

首先,初始化一个弱学习器,通常是一个简单的回归模型,比如单节点的决策树(只有一个分裂节点)或者是一个常数模型(比如训练集的均值)。

4.2. 计算残差

对于每个训练样本,计算当前模型的预测值与真实值之间的残差。

4.3. 拟合残差

使用一个新的弱学习器来拟合这些残差。这个弱学习器的目标是最小化残差与真实值之间的损失函数,通常是均方误差。

4.4. 更新模型

将新学习器与之前的模型组合起来,形成一个更强大的模型。这可以通过简单地将两个模型的预测值相加来实现。

4.5. 重复训练

重复执行步骤 2 到步骤 4,直到满足停止条件(比如达到最大迭代次数或者模型性能不再提升)为止。

5. 梯度提升回归的优缺点

梯度提升回归作为一种强大的机器学习技术,具有以下优点和缺点:

5.1. 优点

  • 高预测性能:梯度提升回归通常能够取得很好的预测性能,尤其在处理复杂的非线性关系时表现优异。
  • 鲁棒性:相对于其他机器学习方法,梯度提升回归对于噪声和异常值的鲁棒性较强,能够处理一些数据质量较差的情况。
  • 灵活性:梯度提升回归可以灵活地处理各种类型的数据,包括数值型和分类型特征。

5.2. 缺点

  • 训练时间较长:由于梯度提升算法是通过迭代训练多个模型来构建最终模型的,因此它的训练时间通常较长,特别是在处理大规模数据集时。
  • 容易过拟合:梯度提升回归容易在训练集上过拟合,特别是当训练样本数量较少或者弱学习器过于复杂时。
  • 参数调整困难:梯度提升回归有许多超参数需要调整,这使得模型的调优变得相对困难。

二、实例

首先生成了一个简单的数据集,其中包括4个特征(X1、X2、X3、X4)和一个目标变量(y)。然后使用Scikit-Learn库中的GradientBoostingRegressor类初始化了一个梯度提升回归模型,并将其训练在训练集上。最后,在测试集上进行了预测,并计算了模型的均方误差。

代码:

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.metrics import mean_squared_error
from matplotlib.font_manager import FontProperties

# 设置中文字体
plt.rcParams['font.sans-serif'] = ['SimHei']  # 设置中文显示字体为黑体
plt.rcParams['axes.unicode_minus'] = False  # 解决负号'-'显示为方块的问题

# 创建一个简单的数据集作为示例
data = {
    'X1': np.random.rand(1000),
    'X2': np.random.rand(1000),
    'X3': np.random.rand(1000),
    'X4': np.random.rand(1000),
    'y': 2*np.random.rand(1000) + 3*np.random.rand(1000) + 4*np.random.rand(1000)
}
df = pd.DataFrame(data)

# 划分特征和目标变量
X = df[['X1', 'X2', 'X3', 'X4']]
y = df['y']

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 初始化梯度提升回归模型
gb_regressor = GradientBoostingRegressor(n_estimators=100, learning_rate=0.1, max_depth=3, random_state=42)

# 训练模型
gb_regressor.fit(X_train, y_train)

# 在测试集上进行预测
y_pred = gb_regressor.predict(X_test)

# 计算模型的均方误差
mse = mean_squared_error(y_test, y_pred)
print("均方误差(MSE):", mse)

# 可视化预测结果
plt.figure(figsize=(10, 6))
plt.scatter(y_test, y_pred, color='blue', alpha=0.5)
plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'k--', lw=2)
plt.xlabel('真实值')
plt.ylabel('预测值')
plt.title('真实值 vs 预测值')
plt.show()

结果:

相关推荐
AI极客菌1 小时前
Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。
人工智能·计算机视觉·ai作画·stable diffusion·aigc·flux·人工智能作画
阿_旭1 小时前
一文读懂| 自注意力与交叉注意力机制在计算机视觉中作用与基本原理
人工智能·深度学习·计算机视觉·cross-attention·self-attention
王哈哈^_^1 小时前
【数据集】【YOLO】【目标检测】交通事故识别数据集 8939 张,YOLO道路事故目标检测实战训练教程!
前端·人工智能·深度学习·yolo·目标检测·计算机视觉·pyqt
Power20246662 小时前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k2 小时前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫2 小时前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法
沉下心来学鲁班2 小时前
复现LLM:带你从零认识语言模型
人工智能·语言模型
数据猎手小k2 小时前
AndroidLab:一个系统化的Android代理框架,包含操作环境和可复现的基准测试,支持大型语言模型和多模态模型。
android·人工智能·机器学习·语言模型
YRr YRr2 小时前
深度学习:循环神经网络(RNN)详解
人工智能·rnn·深度学习
sp_fyf_20243 小时前
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-11-01
人工智能·深度学习·神经网络·算法·机器学习·语言模型·数据挖掘