逻辑回归正则化解释性实验报告：L2 正则对模型系数收缩的可视化分析

逻辑回归正则化解释性实验报告

L2 正则化对模型系数的影响

L2 正则化（Ridge 正则化）通过在损失函数中增加系数的平方和惩罚项，约束模型复杂度，防止过拟合。其目标函数为：

J(\\theta) = -\\frac{1}{m} \\sum_{i=1}\^m \[y\^{(i)} \\log(h_\\theta(x\^{(i)})) + (1-y\^{(i)}) \\log(1-h_\\theta(x\^{(i)}))\] + \\frac{\\lambda}{2m} \\sum_{j=1}\^n \\theta_j\^2

其中 $\\lambda$ 是正则化强度参数， $\\theta_j$ 为模型系数。

实验设计与可视化方法

固定其他超参数（如学习率、迭代次数），逐步增大 $\\lambda$ 值（例如从 0.01 到 100），记录每次训练后模型系数的绝对值。

使用 Python 的 sklearn.linear_model.LogisticRegression 实现，设置 penalty='l2'，并通过 coef_ 属性提取系数。

python 复制代码

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression

# 模拟数据
X = np.random.randn(100, 5)
y = np.random.randint(0, 2, 100)

# 不同 lambda 值（C=1/lambda）
lambdas = np.logspace(-2, 2, 20)
coefs = []
for l in lambdas:
    model = LogisticRegression(penalty='l2', C=1/l, solver='liblinear')
    model.fit(X, y)
    coefs.append(np.abs(model.coef_[0]))

# 可视化
plt.figure(figsize=(10, 6))
for i in range(5):
    plt.plot(lambdas, [c[i] for c in coefs], label=f'Feature {i+1}')
plt.xscale('log')
plt.xlabel('Lambda (Regularization Strength)')
plt.ylabel('Absolute Coefficient Value')
plt.title('L2 Regularization Effect on Logistic Regression Coefficients')
plt.legend()
plt.grid(True)
plt.show()

典型可视化结果分析

低 $\\lambda$ 值（弱正则化）：系数接近无正则化时的原始值，模型可能过拟合。
中等 $\\lambda$ 值：系数被均匀压缩，但保留相对重要性排序。
高 $\\lambda$ 值（强正则化）：所有系数趋近于零，模型趋向欠拟合。

关键结论

L2 正则化会平滑地减小所有系数的绝对值，但通常不会将任何系数压缩至零。
特征重要性排序在适度正则化下保持稳定，适用于需要保留所有特征的场景。
最优 $\\lambda$ 需通过交叉验证确定，平衡偏差与方差。