一、带正则化的成本函数（Regularized Cost Function）
1. 引入正则化的动机
在多特征模型中（例如多项式回归），当特征数量较多时，模型容易过拟合（Overfitting） 。为此我们可以在代价函数中加入一个正则化项（Regularization Term），用于"惩罚"过大的参数，使模型更加平滑、泛化性更强。
2. 带正则化的代价函数定义
假设线性回归的原始代价函数为：
为了避免权重 wj 过大，我们添加一个正则化项：
其中：
-
λ：正则化参数（Regularization Parameter）
-
：惩罚项（Penalty Term）
注意：偏置项 b 不参与正则化。
3. λ（正则化参数）的影响
-
当 λ=0：无正则化，模型可能过拟合。
-
当 λ 过大：参数被压得过小，模型可能欠拟合。
-
选择合适的 λ 可以平衡偏差与方差（Bias--Variance Tradeoff）。
二、正则化线性回归（Regularized Linear Regression）
1. 梯度下降算法的正则化更新
带正则化的代价函数对应的梯度下降更新公式为：
解释：
-
第一部分：普通的梯度下降更新。
-
第二部分：
是正则化项，会让参数 
缩小。
2. 推导思路（简要）
从代价函数对 
求偏导：
然后按梯度下降规则更新参数：
由此得到上面的更新公式。
三、正则化逻辑回归（Regularized Logistic Regression）
1. 更新逻辑回归的代价函数
逻辑回归的原始代价函数为：
其中：
加上正则化项后：
2. 正则化逻辑回归的梯度下降
对每个参数求偏导，得到更新公式：
与线性回归的区别在于：
-
为 sigmoid 函数输出； -
代价函数使用对数损失；
-
更新逻辑相同。
四、总结（Summary）
| 项目 | 线性回归 | 逻辑回归 |
|---|---|---|
| 原代价函数 | 平方误差  |
对数损失 |
| 正则化项 |  |
 |
| 更新规则 |  |
 |
| 偏置项 b | 不参与正则化 | 不参与正则化 |
| 作用 | 减小参数，防止过拟合 | 减小参数，防止过拟合 |
五、例子说明
假设我们要预测房价，模型如下：
其中：
-
x1：房屋面积
-
x2：房龄
如果模型过拟合，说明参数 w1,w2 过大。使用正则化后，代价函数变为：
随着训练进行，较大的 w1,w2 会被"惩罚"，使模型更平滑、更稳定。