回归分析系列22— 稳健回归

23章 稳健回归

23.1 简介

稳健回归是一种在数据中存在异常值或噪声时,依然能够提供合理估计的回归方法。传统的线性回归对异常值非常敏感,因为它最小化的是平方误差。这意味着大的离群点会对回归系数产生很大影响。

23.2 常见的稳健回归方法

稳健回归方法通过对异常值降低权重,或者对损失函数进行修正,以减少这些点对模型的影响。常见的稳健回归方法包括:

  1. M估计:通过改变损失函数,使得它对异常值不敏感。
  2. RANSAC:随机抽样一致性方法,通过随机选择样本,迭代寻找最佳模型。
  3. LAD回归:最小绝对偏差回归,最小化绝对误差,而不是平方误差。

在Python中,我们可以使用scikit-learn中的RANSACRegressor或HuberRegressor来实现稳健回归。

python 复制代码
from sklearn.linear_model import HuberRegressor
from sklearn.metrics import mean_absolute_error
import numpy as np

# 生成模拟数据,添加异常值
np.random.seed(42)
X = np.random.randn(100, 1)
y = 2 * X.flatten() + 1 + np.random.randn(100)
y[::10] += 10  # 添加异常值

# 使用Huber回归
huber = HuberRegressor()
huber.fit(X, y)
y_pred_huber = huber.predict(X)

# 计算误差
mae_huber = mean_absolute_error(y, y_pred_huber)
print(f'Huber Regressor MAE: {mae_huber:.3f}')

23.3 应用实例:稳健回归在经济数据中的应用

经济数据往往包含异常值,例如由于数据录入错误或极端经济事件。传统回归模型在处理这些异常值时,往往会产生偏差。通过稳健回归方法,我们可以有效减小这些异常值的影响,从而获得更准确的模型。

python 复制代码
from sklearn.linear_model import RANSACRegressor
from sklearn.linear_model import LinearRegression

# 使用RANSAC回归
ransac = RANSACRegressor(base_estimator=LinearRegression(), min_samples=50, residual_threshold=5.0)
ransac.fit(X, y)
y_pred_ransac = ransac.predict(X)

# 计算误差
mae_ransac = mean_absolute_error(y, y_pred_ransac)
print(f'RANSAC Regressor MAE: {mae_ransac:.3f}')

在这段代码中,RANSACRegressor通过迭代选择部分数据进行模型拟合,并排除异常值的影响,最终获得稳健的回归系数。

23.4 稳健回归的局限性

虽然稳健回归在处理异常值时具有优势,但它也有一定的局限性。例如,稳健回归方法往往需要更多的计算资源,尤其是在数据量大且异常值多的情况下。此外,在异常值较少时,稳健回归的表现可能不如传统回归模型。

相关推荐
电科_银尘3 天前
【大模型算法与工程 02】线性回归与逻辑回归:从损失函数到决策边界
算法·逻辑回归·线性回归
Blockbuater_drug16 天前
《经典机器学习实战》第 2 课:回归入门——环境、工具与数据准备
线性回归·pandas·scikit-learn·数据可视化·数据清洗·最小二乘法·conda环境
金融小师妹22 天前
多因子定价模型:联储决议临近,黄金+1.1%的宏观驱动与走势分析
大数据·逻辑回归·线性回归
171320330计算机毕设编程1 个月前
计算机毕业设计 基于Hadoop的新能源汽车发展前景分析 LW PPT
java·大数据·hadoop·python·算法·随机森林·线性回归
金融小师妹1 个月前
事件驱动分析模型:9月PPI超预期与美联储利率预期对黄金价格的影响
人工智能·云计算·线性回归·pyqt
蒲公英eric1 个月前
线性回归与正则化:从最小二乘到岭回归、LASSO
人工智能·算法·数学建模·线性回归·岭回归·最小二乘·lasso
allnlei1 个月前
线性回归(Linear Regression)
机器学习·回归·线性回归
码爸1 个月前
线性回归算法
算法·机器学习·线性回归
for_ever_love__1 个月前
线性回归与梯度下降——从零手写一个模型
python·机器学习·线性回归·梯度下降
袖清暮雨1 个月前
机器学习之线性回归
人工智能·机器学习·线性回归