1 有监督学习的损失函数
1.1 分类问题
对二分类问题, Y={1,−1}, 我们希望sign f(xi,θ)=yi, 最自然的损失函数是0-1损失,
函数定义 | 特点 | |
---|---|---|
0-1损失函数 | 非凸、非光滑,很难直接对该函数进行优化 | |
Hinge损失函数 | 当fy≥1时, 该函数不对其做任何惩罚。 Hinge损失在fy=1处不可导, 因此不能用梯度下降法进行优化, 而是用次梯度下降法 | |
Logistic损失函数 | 该损失函数对所有的样本点都有所惩罚, 因此对异常值相对更敏感一些 | |
交叉熵损失函数 |
1.2回归问题
希望 , 最常用的损失函数是平方损失函数
函数定义 | 特点 | |
---|---|---|
平方损失函数 | 对异常点比较敏感 | |
绝对损失函数 | 在f=y处无法求导数 | |
Huber损失函数 | 在 |
2 梯度下降法
3 L1正则化与稀疏性
稀疏性,就是模型中的很多参数为0,相当于对模型进行了特征选择,只留下了重要的特征。提高了模型的泛化能力,降低了过拟合的可能。
为什么L1正则化能让模型具有稀疏性?
3.1 从解空间形状来看
黄色的部分是L2和L1正则项约束后的解空间, 绿色的等高线是凸优化问题中目标函数的等高线,L2正则项约束后的解空间是圆形, 而L1正则项约束的解空间是多边形。显然, 多边形的解空间更容易在尖角处与等高线碰撞出稀疏解。
3.2 从函数叠加来看
首先, 考虑加上L2正则化项, 目标函数变成L(w)+Cw2, 其函数曲线为黄色。此时, 最小值点在黄点处, 对应的w*的绝对值减小了, 但仍然非0。
然后, 考虑加上L1正则化项, 目标函数变成L(w)+C|w|, 其函数曲线为绿色。此时, 最小值点在红点处, 对应的w是0, 产生了稀疏性。
在一些在线梯度下降算法中, 往往会采用截断梯度法来产生稀疏性, 这同L1正则项产生稀疏性的原理是类似的。
3.3从贝叶斯实验来看
从贝叶斯的角度来理解L1正则化和L2正则化, 简单的解释是, L1正则化相当于对模型参数w引入了拉普拉斯先验, L2正则化相当于引入了高斯先验, 而拉普拉斯先验使参数为0的可能性更大。