在逻辑回归正则化一文中，我们详细解释了正则化的原理及作用：当有很多个特征X时，有些特征往往不重要，所以需要降低其的权重。而正则化则是为每个特征修改权重从而提升训练效果。
正则化在线性回归中也是相同的原理，我们还记得正则化分成了两种：L1正则化和L2正则化，两者的区别就是L1将某些特征的权重设为了0，而L2中则以一个极小的权重保留了特征。
在线性回归中，添加正则化有具体的回归名称分别是：Lasso回归 (L1)、岭回归 (L2)和弹性网络回归(L1和L2中和)。
Lasso回归（L1正则化）
Lasso回归，即最小绝对收缩和选择算子，是另一种使用收缩的线性回归方法。Lasso过程鼓励简单、稀疏的模型（即，参数更少的模型）。
通过引入一个惩罚项到OLS方程，该惩罚项限制了系数绝对值的和：
Lasso回归 : min β { ∑ i = 1 n ( y i − ∑ j = 1 p x i j β j ) 2 + λ ∑ j = 1 p ∣ β j ∣ } \text{Lasso回归} : \min_{\beta} \{ \sum_{i=1}^{n}(y_i - \sum_{j=1}^{p}x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^{p}|\beta_j| \} Lasso回归:βmin{i=1∑n(yi−j=1∑pxijβj)2+λj=1∑p∣βj∣}
Lasso惩罚的效果是在调节参数 λ \lambda λ足够大时，强制某些系数估计值精确地为零。这意味着Lasso也可以进行变量选择，并能产生更易于解释的模型。
岭回归（L2正则化）
岭回归也被称为Tikhonov正则化，它是用于分析存在多重共线性的多元回归数据的技术。当存在多重共线性时，最小二乘估计是无偏的，但它们的方差很大，因此可能会远离真实值。通过对回归估计添加一定程度的偏差，岭回归可以减小标准误差。
岭回归的关键在于向普通最小二乘（OLS）方程添加一个惩罚项：
岭回归 : min β { ∑ i = 1 n ( y i − ∑ j = 1 p x i j β j ) 2 + λ ∑ j = 1 p β j 2 } \text{岭回归} : \min_{\beta} \{ \sum_{i=1}^{n}(y_i - \sum_{j=1}^{p}x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^{p}\beta_j^2 \} 岭回归:βmin{i=1∑n(yi−j=1∑pxijβj)2+λj=1∑pβj2}
这里， λ \lambda λ是调节参数，决定了我们希望对模型的灵活性进行多大程度的惩罚。当 λ \lambda λ的值越大时，缩减作用越强，因此系数对共线性的鲁棒性就越强。
弹性网络回归
弹性网络是岭回归和Lasso回归的折中。它在多个特征彼此相关时特别有用。
弹性网络旨在保持L2和L1惩罚项的正则化属性：
弹性网络 : min β { ∑ i = 1 n ( y i − ∑ j = 1 p x i j β j ) 2 + λ 1 ∑ j = 1 p β j 2 + λ 2 ∑ j = 1 p ∣ β j ∣ } \text{弹性网络} : \min_{\beta} \{ \sum_{i=1}^{n}(y_i - \sum_{j=1}^{p}x_{ij}\beta_j)^2 + \lambda_1\sum_{j=1}^{p}\beta_j^2 + \lambda_2\sum_{j=1}^{p}|\beta_j| \} 弹性网络:βmin{i=1∑n(yi−j=1∑pxijβj)2+λ1j=1∑pβj2+λ2j=1∑p∣βj∣}
该模型建立在L1和L2惩罚项之间的平衡之上，由 λ 1 \lambda_1 λ1和 λ 2 \lambda_2 λ2调节。这种平衡允许学习一个像Lasso那样的稀疏模型，同时还保持了岭回归的正则化属性。
这里整理一下三个回归的代码，数据使用天池工业蒸汽量预测，得分仅针对本数据参考，不代表算法优劣：
Lasso回归score:1.0877
from sklearn.linear_model import Lasso
import numpy as np
# Load the datasets
train_data = pd.read_csv('zhengqi_train.txt', sep='\t')
test_data = pd.read_csv('zhengqi_test.txt', sep='\t')
# Split the training data into features and target
X_train = train_data.drop(columns=['target'])
y_train = train_data['target']
# 创建Lasso回归模型实例
lasso_model = Lasso(alpha=1.0) # alpha 参数就是λ
# 拟合模型
lasso_model.fit(X_train, y_train)
# 预测新数据
predictions = lasso_model.predict(test_data)
output_path = 'zhengqi_gb_predictions.txt'
pd.DataFrame(predictions).to_csv(output_path, index=False, header=False)
Ridge回归（岭回归）score:2.8139
from sklearn.linear_model import Ridge
import numpy as np
# Load the datasets
train_data = pd.read_csv('zhengqi_train.txt', sep='\t')
test_data = pd.read_csv('zhengqi_test.txt', sep='\t')
# Split the training data into features and target
X_train = train_data.drop(columns=['target'])
y_train = train_data['target']
# 创建岭回归模型实例
ridge_model = Ridge(alpha=1.0) # alpha 参数就是λ
# 拟合模型
ridge_model.fit(X_train, y_train)
# 预测新数据
predictions = ridge_model.predict(test_data)
# Save the predictions to a text file
output_path = 'zhengqi_gb_predictions.txt'
pd.DataFrame(predictions).to_csv(output_path, index=False, header=False)
弹性网络回归score:0.5922
from sklearn.linear_model import ElasticNet
import numpy as np
# Load the datasets
train_data = pd.read_csv('zhengqi_train.txt', sep='\t')
test_data = pd.read_csv('zhengqi_test.txt', sep='\t')
# Split the training data into features and target
X_train = train_data.drop(columns=['target'])
y_train = train_data['target']
# 创建弹性网络回归模型实例
elastic_model = ElasticNet(alpha=1.0, l1_ratio=0.5) # alpha 参数是λ，l1_ratio 是 L1 正则化比例
# 拟合模型
elastic_model.fit(X_train, y_train)
# 预测新数据
predictions = elastic_model.predict(test_data)
output_path = 'zhengqi_gb_predictions.txt'
pd.DataFrame(predictions).to_csv(output_path, index=False, header=False)