1. L1正则化
L1正则化是回归参数各个元素绝对值之和。
2. L2正则化
L2正则化是回归参数各个元素平方之和。
3.LOSS回归
线性回归加上L1正则化
4.岭回归
线性回归加上L2正则化
不断增大 L2 约束项参数 α，可以发现岭回归参数优化解不断靠近原点，如图 6 所示。注意，图 6 分图中的等高线为岭回归曲面 f(b1, b2)。当约束项参数 α 不断增大，f(b1, b2) 曲面中 L2 正则项 (正圆曲面) 影响力不断增强。参数 α 不断增大，f(b1, b2) 曲面等高线也从旋转椭圆渐渐变成正圆，最小值点也渐渐靠近 (收缩到) 原点。
图 8 所示为随着 α 增大，岭回归参数变化。可以发现，α 增大时，参数逐步最大限度接近 0，但是不等于 0。这一点和本章后文将介绍的套索回归和弹性网络回归截然不同。
5. 贝叶斯回归理解正则化
从贝叶斯回归角度理解正则化回归，可以将正则化项视为参数的先验分布 。正则化回归通过在损失
函数中加入先验分布，来约束模型参数的取值范围，从而避免过拟合和提高泛化能力。在贝叶斯回归中，先验分布可以通过经验知识或者领域知识来确定，这种方法可以更好地适应实际问题的复杂性和不确定性。因此，正则化回归可以看作是贝叶斯回归在参数估计中的一种特殊情况。