大家好，我是你们的技术伙伴。👋
在机器学习的实战中，我们经常会遇到模型在训练集上表现完美，但一到测试集或线上环境就"原形毕露"的情况。这就是典型的过拟合。为了解决这个问题，正则化成为了算法工程师工具箱中最重要的武器之一。
在2026年的今天，面试官在考察正则化时，不再满足于简单的API调用，而是更关注候选人对奥卡姆剃刀原则 、结构风险最小化 以及不同正则化方法几何意义的深度理解。
今天，我将为你带来一份正则化面试题深度解析。我们将涵盖从基础的L1/L2区别到复杂的Dropout原理，助你在面试中脱颖而出。
1. 什么是正则化？
正则化（Regularization）是机器学习中一种用于限制模型复杂度、防止过拟合的核心技术。从数学角度看，它是在原始的经验风险（即训练集上的损失函数）基础上，增加一个正则化项（惩罚项），从而构成结构风险最小化策略。这个惩罚项通常是模型参数（权重）的某种范数。通俗来说，正则化就像是给模型制定了一条"奥卡姆剃刀"原则：在能够很好解释数据的前提下，模型越简单越好。通过给复杂的模型参数施加惩罚，正则化迫使模型在拟合训练数据和保持自身简洁之间找到最佳平衡点。
2. 为什么正则化能够缓解过拟合？
过拟合的本质是模型为了完美拟合训练集中的噪声和异常值，导致模型参数（权重）变得过大且极其复杂。正则化通过在损失函数中引入惩罚项，直接限制了模型参数的大小或数量。当模型试图通过增大某些权重来死记硬背训练数据中的噪声时，正则化项的惩罚值会急剧增加，从而在总损失中抵消掉拟合噪声带来的收益。这种约束迫使模型放弃对训练数据中细枝末节（噪声）的过度拟合，转而关注数据中更普适、更平滑的潜在规律，从而显著提升了模型在未知数据上的泛化能力。
3. L1 正则化和 L2 正则化的区别是什么？
L1和L2正则化的核心区别在于惩罚项的数学形式及其对模型参数产生的不同影响。L1正则化是在损失函数中加入参数的绝对值之和（L1范数），它的显著特点是能够使部分参数精确地变为0，从而产生稀疏解，天然具备特征选择的能力。而L2正则化是在损失函数中加入参数的平方和（L2范数），它倾向于让所有参数的值都趋向于较小且平滑的数值，但不会将任何参数完全压缩为0。在几何上，L1的约束区域呈菱形（有尖角），容易与损失函数的等高线在坐标轴上相交；而L2的约束区域呈圆形，交点通常在非坐标轴位置。
4. Lasso 和 Ridge 的区别是什么？
Lasso回归和Ridge回归分别是L1和L2正则化在线性回归模型中的具体应用，两者的区别主要体现在适用场景和模型效果上。Lasso回归（Least Absolute Shrinkage and Selection Operator）通过L1惩罚，能够将不重要特征的系数直接压缩为零，因此非常适合高维数据中存在大量冗余特征的场景，能够自动完成特征筛选并提高模型的可解释性。Ridge回归（岭回归）通过L2惩罚，将所有特征的系数均匀地缩小，但保留所有特征，因此它更适合处理特征之间存在高度相关性（多重共线性）的情况，能够有效稳定模型参数，防止方差过大。
5. ElasticNet 是什么？
ElasticNet（弹性网络）是一种结合了L1正则化和L2正则化优势的混合正则化方法。它的损失函数中同时包含了L1范数（绝对值惩罚）和L2范数（平方惩罚），并通过两个超参数来控制两者的权重比例。ElasticNet的设计初衷是为了解决Lasso在特征高度相关时倾向于随机选择其中一个特征，以及当特征数量远大于样本数量时选择特征数量受限的问题。通过融合两者，ElasticNet既能像Lasso一样实现特征选择（产生稀疏解），又能像Ridge一样处理特征间的相关性并保持分组效应，在实际的高维数据建模中往往能取得更稳健的效果。
6. 为什么 L1 能够实现特征选择？
L1能够实现特征选择，可以从几何和代数两个角度来理解。从几何角度看，L1正则化的约束区域是一个带有尖角的菱形（或多面体），损失函数的等高线在与约束区域相交时，极大概率会碰到菱形的顶点或棱边，而这些顶点恰好位于坐标轴上，意味着某些维度的权重为0。从代数（梯度）角度看，L1范数在零点是不可导的，其梯度是一个常数（±1）。当参数已经很小时，减去这个常数梯度会直接跨过零点，并在后续的投影或次梯度更新中被强制置为0；而L2的梯度随着参数变小而趋近于0，永远无法将参数精确压缩到零。
7. Dropout 的原理是什么？
Dropout是深度神经网络中一种独特且高效的正则化技术。它的原理非常简单：在模型训练的每一次迭代（或每一个Batch）中，按照预设的概率 pp （例如0.5），随机地"丢弃"或暂时关闭网络中的一部分神经元。被丢弃的神经元在本次前向传播和反向传播中完全不参与计算，相当于从原始网络中临时采样出了一个更稀疏的子网络。而在模型测试（推理）阶段，所有的神经元都会被保留并参与计算，但通常会将权重乘以保留概率 (1−p)(1−p) 或在训练时对激活值进行缩放，以保持输出期望的一致性。
8. Dropout 为什么可以防止过拟合？
Dropout防止过拟合的核心机制在于它打破了神经元之间的"共适应性"（Co-adaptation）。在标准神经网络训练中，某些神经元可能会过度依赖其他特定神经元的输出，导致网络对训练数据中的特定噪声产生记忆。Dropout通过随机丢弃神经元，迫使网络中的每个神经元都必须学会与其他任意存在的神经元组合进行协作，从而学习到更加鲁棒、独立且泛化能力更强的特征。从集成学习的角度来看，Dropout相当于在训练过程中隐式地训练了指数级数量的不同子网络，并在测试时对这些子网络进行了平均（Bagging），这种模型平均效应极大地降低了模型的方差，提升了泛化性能。
📌 结语
正则化不仅是防止过拟合的技术手段，更是机器学习中"简单即美"哲学思想的数学体现。从L1的稀疏特征选择到L2的平滑权重约束，再到Dropout的随机集成思想，每一种方法都蕴含着深刻的统计学与优化智慧。
希望这篇深度解析能帮你彻底打通正则化的底层逻辑。如果你在面试或工作中遇到了相关难题，欢迎在评论区留言讨论。如果觉得文章对你有帮助，可以点赞、收藏、关注.