正则化是防止模型过拟合的方法，它通过对模型的权重进行约束来控制模型的复杂度。
正则化在损失函数中引入模型复杂度指标，利用给W加权值，弱化了数据的噪声，一般不正则化b。
- loss(y^,y)：模型中所有参数的损失函数，如交叉熵
- Regularizer：用超参数Regularizer给出w在总loss中的比例，即正则化的权重。
- w：需要正则化的参数
正则化分为L1正则化和L2正则化：
L1正则化大概率会使很多参数变为0，因此该方法可通过稀疏参数，即减少参数的数量，降低复杂度。
L2正则化会使参数很接近但不为零，因此该方法可通过减小参数值的大小降低复杂度。
来源推导
对于模型权重系数 w 求解是通过最小化目标函数实现的，即求解：
使用
假如我们有非常多的特征，我们并不知道其中哪些特征我们要惩罚，我们将对所有的特征进行惩罚，并且让代价函数最优化的程序来选择这些惩罚的程度。记：
对线性回归：
对逻辑回归：
