Lasso回归、岭回归和弹性网络回归

逻辑回归正则化一文中,我们详细解释了正则化的原理及作用:当有很多个特征X时,有些特征往往不重要,所以需要降低其的权重。而正则化则是为每个特征修改权重从而提升训练效果。

正则化在线性回归中也是相同的原理,我们还记得正则化分成了两种:L1正则化和L2正则化,两者的区别就是L1将某些特征的权重设为了0,而L2中则以一个极小的权重保留了特征。

在线性回归中,添加正则化有具体的回归名称分别是:Lasso回归 (L1)、岭回归 (L2)和弹性网络回归(L1和L2中和)。

Lasso回归(L1正则化)

Lasso回归,即最小绝对收缩和选择算子,是另一种使用收缩的线性回归方法。Lasso过程鼓励简单、稀疏的模型(即,参数更少的模型)。

通过引入一个惩罚项到OLS方程,该惩罚项限制了系数绝对值的和:
Lasso回归 : min ⁡ β { ∑ i = 1 n ( y i − ∑ j = 1 p x i j β j ) 2 + λ ∑ j = 1 p ∣ β j ∣ } \text{Lasso回归} : \min_{\beta} \{ \sum_{i=1}^{n}(y_i - \sum_{j=1}^{p}x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^{p}|\beta_j| \} Lasso回归:βmin{i=1∑n(yi−j=1∑pxijβj)2+λj=1∑p∣βj∣}

Lasso惩罚的效果是在调节参数 λ \lambda λ足够大时,强制某些系数估计值精确地为零。这意味着Lasso也可以进行变量选择,并能产生更易于解释的模型。

岭回归(L2正则化)

岭回归也被称为Tikhonov正则化,它是用于分析存在多重共线性的多元回归数据的技术。当存在多重共线性时,最小二乘估计是无偏的,但它们的方差很大,因此可能会远离真实值。通过对回归估计添加一定程度的偏差,岭回归可以减小标准误差。

岭回归的关键在于向普通最小二乘(OLS)方程添加一个惩罚项:
岭回归 : min ⁡ β { ∑ i = 1 n ( y i − ∑ j = 1 p x i j β j ) 2 + λ ∑ j = 1 p β j 2 } \text{岭回归} : \min_{\beta} \{ \sum_{i=1}^{n}(y_i - \sum_{j=1}^{p}x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^{p}\beta_j^2 \} 岭回归:βmin{i=1∑n(yi−j=1∑pxijβj)2+λj=1∑pβj2}

这里, λ \lambda λ是调节参数,决定了我们希望对模型的灵活性进行多大程度的惩罚。当 λ \lambda λ的值越大时,缩减作用越强,因此系数对共线性的鲁棒性就越强。

弹性网络回归

弹性网络是岭回归和Lasso回归的折中。它在多个特征彼此相关时特别有用。

弹性网络旨在保持L2和L1惩罚项的正则化属性:
弹性网络 : min ⁡ β { ∑ i = 1 n ( y i − ∑ j = 1 p x i j β j ) 2 + λ 1 ∑ j = 1 p β j 2 + λ 2 ∑ j = 1 p ∣ β j ∣ } \text{弹性网络} : \min_{\beta} \{ \sum_{i=1}^{n}(y_i - \sum_{j=1}^{p}x_{ij}\beta_j)^2 + \lambda_1\sum_{j=1}^{p}\beta_j^2 + \lambda_2\sum_{j=1}^{p}|\beta_j| \} 弹性网络:βmin{i=1∑n(yi−j=1∑pxijβj)2+λ1j=1∑pβj2+λ2j=1∑p∣βj∣}

该模型建立在L1和L2惩罚项之间的平衡之上,由 λ 1 \lambda_1 λ1和 λ 2 \lambda_2 λ2调节。这种平衡允许学习一个像Lasso那样的稀疏模型,同时还保持了岭回归的正则化属性。

这里整理一下三个回归的代码,数据使用天池工业蒸汽量预测,得分仅针对本数据参考,不代表算法优劣:

Lasso回归score:1.0877
复制代码
from sklearn.linear_model import Lasso
import numpy as np

# Load the datasets
train_data = pd.read_csv('zhengqi_train.txt', sep='\t')
test_data = pd.read_csv('zhengqi_test.txt', sep='\t')

# Split the training data into features and target
X_train = train_data.drop(columns=['target'])
y_train = train_data['target']

# 创建Lasso回归模型实例
lasso_model = Lasso(alpha=1.0)  # alpha 参数就是λ

# 拟合模型
lasso_model.fit(X_train, y_train)

# 预测新数据
predictions = lasso_model.predict(test_data)

output_path = 'zhengqi_gb_predictions.txt'
pd.DataFrame(predictions).to_csv(output_path, index=False, header=False)
Ridge回归(岭回归)score:2.8139
复制代码
from sklearn.linear_model import Ridge
import numpy as np

# Load the datasets
train_data = pd.read_csv('zhengqi_train.txt', sep='\t')
test_data = pd.read_csv('zhengqi_test.txt', sep='\t')

# Split the training data into features and target
X_train = train_data.drop(columns=['target'])
y_train = train_data['target']

# 创建岭回归模型实例
ridge_model = Ridge(alpha=1.0)  # alpha 参数就是λ

# 拟合模型
ridge_model.fit(X_train, y_train)

# 预测新数据
predictions = ridge_model.predict(test_data)

# Save the predictions to a text file
output_path = 'zhengqi_gb_predictions.txt'
pd.DataFrame(predictions).to_csv(output_path, index=False, header=False)
弹性网络回归score:0.5922
复制代码
from sklearn.linear_model import ElasticNet
import numpy as np

# Load the datasets
train_data = pd.read_csv('zhengqi_train.txt', sep='\t')
test_data = pd.read_csv('zhengqi_test.txt', sep='\t')

# Split the training data into features and target
X_train = train_data.drop(columns=['target'])
y_train = train_data['target']

# 创建弹性网络回归模型实例
elastic_model = ElasticNet(alpha=1.0, l1_ratio=0.5)  # alpha 参数是λ,l1_ratio 是 L1 正则化比例

# 拟合模型
elastic_model.fit(X_train, y_train)

# 预测新数据
predictions = elastic_model.predict(test_data)

output_path = 'zhengqi_gb_predictions.txt'
pd.DataFrame(predictions).to_csv(output_path, index=False, header=False)
相关推荐
jndingxin1 小时前
OpenCV 图形API(21)逐像素操作
人工智能·opencv·计算机视觉
程序员小杰@2 小时前
AI前端组件库Ant DesIgn X
开发语言·前端·人工智能
浩哥的技术博客3 小时前
使用MetaGPT 创建智能体(1)入门
人工智能·大模型·智能体
胖哥真不错3 小时前
数据分享:汽车测评数据
python·机器学习·数据分享·汽车测评数据·car evaluation
明月看潮生3 小时前
青少年编程与数学 02-015 大学数学知识点 07课题、数值分析
机器学习·青少年编程·数值分析·编程与数学
不惑_4 小时前
基于HAI应用,从零开始的NLP处理实践指南
人工智能
OreoCC4 小时前
第R3周:RNN-心脏病预测(pytorch版)
人工智能·pytorch·rnn
说私域4 小时前
基于开源链动 2+1 模式 AI 智能名片 S2B2C 商城小程序的社群团购品牌命名策略研究
人工智能·小程序·开源·零售
森叶4 小时前
免费Deepseek-v3接口实现Browser-Use Web UI:浏览器自动化本地模拟抓取数据实录
前端·人工智能·自动化