Lasso回归、岭回归和弹性网络回归

逻辑回归正则化一文中,我们详细解释了正则化的原理及作用:当有很多个特征X时,有些特征往往不重要,所以需要降低其的权重。而正则化则是为每个特征修改权重从而提升训练效果。

正则化在线性回归中也是相同的原理,我们还记得正则化分成了两种:L1正则化和L2正则化,两者的区别就是L1将某些特征的权重设为了0,而L2中则以一个极小的权重保留了特征。

在线性回归中,添加正则化有具体的回归名称分别是:Lasso回归 (L1)、岭回归 (L2)和弹性网络回归(L1和L2中和)。

Lasso回归(L1正则化)

Lasso回归,即最小绝对收缩和选择算子,是另一种使用收缩的线性回归方法。Lasso过程鼓励简单、稀疏的模型(即,参数更少的模型)。

通过引入一个惩罚项到OLS方程,该惩罚项限制了系数绝对值的和:
Lasso回归 : min ⁡ β { ∑ i = 1 n ( y i − ∑ j = 1 p x i j β j ) 2 + λ ∑ j = 1 p ∣ β j ∣ } \text{Lasso回归} : \min_{\beta} \{ \sum_{i=1}^{n}(y_i - \sum_{j=1}^{p}x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^{p}|\beta_j| \} Lasso回归:βmin{i=1∑n(yi−j=1∑pxijβj)2+λj=1∑p∣βj∣}

Lasso惩罚的效果是在调节参数 λ \lambda λ足够大时,强制某些系数估计值精确地为零。这意味着Lasso也可以进行变量选择,并能产生更易于解释的模型。

岭回归(L2正则化)

岭回归也被称为Tikhonov正则化,它是用于分析存在多重共线性的多元回归数据的技术。当存在多重共线性时,最小二乘估计是无偏的,但它们的方差很大,因此可能会远离真实值。通过对回归估计添加一定程度的偏差,岭回归可以减小标准误差。

岭回归的关键在于向普通最小二乘(OLS)方程添加一个惩罚项:
岭回归 : min ⁡ β { ∑ i = 1 n ( y i − ∑ j = 1 p x i j β j ) 2 + λ ∑ j = 1 p β j 2 } \text{岭回归} : \min_{\beta} \{ \sum_{i=1}^{n}(y_i - \sum_{j=1}^{p}x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^{p}\beta_j^2 \} 岭回归:βmin{i=1∑n(yi−j=1∑pxijβj)2+λj=1∑pβj2}

这里, λ \lambda λ是调节参数,决定了我们希望对模型的灵活性进行多大程度的惩罚。当 λ \lambda λ的值越大时,缩减作用越强,因此系数对共线性的鲁棒性就越强。

弹性网络回归

弹性网络是岭回归和Lasso回归的折中。它在多个特征彼此相关时特别有用。

弹性网络旨在保持L2和L1惩罚项的正则化属性:
弹性网络 : min ⁡ β { ∑ i = 1 n ( y i − ∑ j = 1 p x i j β j ) 2 + λ 1 ∑ j = 1 p β j 2 + λ 2 ∑ j = 1 p ∣ β j ∣ } \text{弹性网络} : \min_{\beta} \{ \sum_{i=1}^{n}(y_i - \sum_{j=1}^{p}x_{ij}\beta_j)^2 + \lambda_1\sum_{j=1}^{p}\beta_j^2 + \lambda_2\sum_{j=1}^{p}|\beta_j| \} 弹性网络:βmin{i=1∑n(yi−j=1∑pxijβj)2+λ1j=1∑pβj2+λ2j=1∑p∣βj∣}

该模型建立在L1和L2惩罚项之间的平衡之上,由 λ 1 \lambda_1 λ1和 λ 2 \lambda_2 λ2调节。这种平衡允许学习一个像Lasso那样的稀疏模型,同时还保持了岭回归的正则化属性。

这里整理一下三个回归的代码,数据使用天池工业蒸汽量预测,得分仅针对本数据参考,不代表算法优劣:

Lasso回归score:1.0877
复制代码
from sklearn.linear_model import Lasso
import numpy as np

# Load the datasets
train_data = pd.read_csv('zhengqi_train.txt', sep='\t')
test_data = pd.read_csv('zhengqi_test.txt', sep='\t')

# Split the training data into features and target
X_train = train_data.drop(columns=['target'])
y_train = train_data['target']

# 创建Lasso回归模型实例
lasso_model = Lasso(alpha=1.0)  # alpha 参数就是λ

# 拟合模型
lasso_model.fit(X_train, y_train)

# 预测新数据
predictions = lasso_model.predict(test_data)

output_path = 'zhengqi_gb_predictions.txt'
pd.DataFrame(predictions).to_csv(output_path, index=False, header=False)
Ridge回归(岭回归)score:2.8139
复制代码
from sklearn.linear_model import Ridge
import numpy as np

# Load the datasets
train_data = pd.read_csv('zhengqi_train.txt', sep='\t')
test_data = pd.read_csv('zhengqi_test.txt', sep='\t')

# Split the training data into features and target
X_train = train_data.drop(columns=['target'])
y_train = train_data['target']

# 创建岭回归模型实例
ridge_model = Ridge(alpha=1.0)  # alpha 参数就是λ

# 拟合模型
ridge_model.fit(X_train, y_train)

# 预测新数据
predictions = ridge_model.predict(test_data)

# Save the predictions to a text file
output_path = 'zhengqi_gb_predictions.txt'
pd.DataFrame(predictions).to_csv(output_path, index=False, header=False)
弹性网络回归score:0.5922
复制代码
from sklearn.linear_model import ElasticNet
import numpy as np

# Load the datasets
train_data = pd.read_csv('zhengqi_train.txt', sep='\t')
test_data = pd.read_csv('zhengqi_test.txt', sep='\t')

# Split the training data into features and target
X_train = train_data.drop(columns=['target'])
y_train = train_data['target']

# 创建弹性网络回归模型实例
elastic_model = ElasticNet(alpha=1.0, l1_ratio=0.5)  # alpha 参数是λ,l1_ratio 是 L1 正则化比例

# 拟合模型
elastic_model.fit(X_train, y_train)

# 预测新数据
predictions = elastic_model.predict(test_data)

output_path = 'zhengqi_gb_predictions.txt'
pd.DataFrame(predictions).to_csv(output_path, index=False, header=False)
相关推荐
AKAMAI13 小时前
Sport Network 凭借 Akamai 实现卓越成就
人工智能·云原生·云计算
周末程序猿14 小时前
机器学习|大模型为什么会出现"幻觉"?
人工智能
JoannaJuanCV14 小时前
大语言模型基石:Transformer
人工智能·语言模型·transformer
飞哥数智坊14 小时前
Qoder vs CodeBuddy,刚起步就收费,值吗?
人工智能·ai编程
强盛小灵通专卖员14 小时前
闪电科创,深度学习辅导
人工智能·sci·小论文·大论文·延毕
通街市密人有14 小时前
IDF: Iterative Dynamic Filtering Networks for Generalizable Image Denoising
人工智能·深度学习·计算机视觉
大千AI助手14 小时前
TruthfulQA:衡量语言模型真实性的基准
人工智能·语言模型·自然语言处理·llm·模型评估·truthfulqa·事实性基准
蚂蚁RichLab前端团队14 小时前
🚀🚀🚀 RichLab - 花呗前端团队招贤纳士 - 【转岗/内推/社招】
前端·javascript·人工智能
智数研析社14 小时前
9120 部 TMDb 高分电影数据集 | 7 列全维度指标 (评分 / 热度 / 剧情)+API 权威源 | 电影趋势分析 / 推荐系统 / NLP 建模用
大数据·人工智能·python·深度学习·数据分析·数据集·数据清洗
救救孩子把15 小时前
2-机器学习与大模型开发数学教程-第0章 预备知识-0-2 数列与级数(收敛性、幂级数)
人工智能·数学·机器学习