深度学习模型的核心目标是 在训练数据上有效学习，同时在未知数据上保持良好的泛化能力。然而，实际训练中经常出现两类问题：
- 过拟合（Overfitting）：模型过度拟合训练数据，在测试数据上表现不佳。
- 欠拟合（Underfitting）：模型未能充分学习训练数据的规律，表现普遍较差。
此外，模型训练依赖于 代价函数（Cost Function），即衡量预测值与真实值之间差异的函数。代价函数不仅反映模型拟合程度，也是解决过拟合与欠拟合的重要工具。
过拟合（Overfitting）
定义
过拟合是指模型在训练集上表现很好，但在验证集和测试集上性能明显下降。其本质是 模型学习了训练数据中的噪声或偶然性规律，而非数据的本质特征。
典型特征
- 训练误差持续下降，但验证误差在达到最优点后开始上升。
- 在训练集上准确率极高，但在测试集上准确率低。
产生原因
- 模型复杂度过高（网络层数多、参数多）。
- 训练样本不足，难以支撑复杂模型。
- 数据噪声大，模型把噪声当作规律。
- 缺乏正则化手段。
常见解决方法
- 数据层面：增加训练数据量、数据增强。
- 模型层面：降低模型复杂度，减少层数或参数。
- 训练层面 ：
- 正则化（L1、L2、权值衰减）。
- Dropout 随机丢弃部分神经元。
- 提前停止（Early Stopping）。
- 批归一化（Batch Normalization）。
- 验证机制：交叉验证、留出验证集监控训练过程。
欠拟合（Underfitting）
定义
欠拟合是指模型在训练集和测试集上表现都不好，说明模型未能有效学习数据特征。
典型特征
- 训练误差和测试误差都较高。
- 模型在训练集上的表现已经很差，更不用说泛化能力。
产生原因
- 模型复杂度过低，无法表示数据特征。
- 特征不足或特征表达能力差。
- 学习率过高，导致训练未收敛。
- 训练次数不够，模型尚未学到有效规律。
常见解决方法
- 模型层面：提高模型复杂度（增加层数、神经元数）。
- 特征层面：提取更多有效特征，采用更强大的嵌入或预训练模型。
- 训练层面 ：
- 调整学习率，避免过大导致震荡。
- 延长训练时间，确保收敛。
- 使用更先进的优化算法（Adam、RMSprop）。
代价函数（Cost Function）
定义
代价函数用于衡量预测值与真实值之间的差异，是深度学习模型训练和优化的核心指标。优化目标就是 最小化代价函数。
常见代价函数
-
回归任务：
-
均方误差（MSE）：
-
-
分类任务：
-
交叉熵损失（Cross-Entropy Loss）：
-
-
其他：
- Hinge Loss（SVM 中常用）。
- KL 散度（分布差异度量）。
代价函数与过拟合、欠拟合的关系
- 过拟合时：训练代价函数下降明显，但验证/测试代价函数先下降后上升。
- 欠拟合时：无论训练还是验证代价函数都较高，说明模型没有学到足够规律。
- 优化目标：寻找使训练误差和泛化误差都较低的参数。
引入正则化项
为了防止过拟合，代价函数中常加入正则化项：
其中 R(θ) 可以是：
- L1 正则化：促进稀疏性。
- L2 正则化：抑制权重过大，提升模型稳定性。
- Dropout 等方式：在优化中隐式改变代价函数。
整体关系与训练策略
- 欠拟合 → 说明模型学习不足，需增加复杂度或延长训练。
- 过拟合 → 说明模型记忆过度，需简化模型或使用正则化。
- 代价函数 → 是监控过拟合/欠拟合的指标，通过训练误差与验证误差的走势来判断问题所在。
一个健康的训练过程表现为：
- 训练误差逐渐下降；
- 验证误差下降后趋于平稳；
- 测试误差接近验证误差，表明泛化能力良好。