1. 拟合、过拟合、欠拟合分别是什么?
2. 如何解决过拟合和欠拟合问题?
讲3个同学的故事
小美不仅完全掌握了老师讲授的知识点,还能举一反三总结出规律。在月考中表现出色,期末更是取得了优异成绩。(恰好拟合)
小罗虽然没完全理解老师讲的内容,但死记硬背了月考答案,结果月考成绩不错,到了期末考试,却考得一塌糊涂。(过拟合)
小张平时不认真听课,对知识点掌握不牢固,导致无论是月考还是期末考试,都表现不佳。(欠拟合)
一、拟合
在机器学习中,模型从训练数据中学习潜在规律和模式的过程,称为拟合 。
一个良好的模型,能够在训练集上做出准确预测,并能够学习其中的规律,推行到新的数据上。
模型的核心目标在于揭示数据背后的函数关系,而非单纯记忆数据点。关键在于平衡两个能力:既要充分拟合训练数据,又要保持对未来数据的预测准确性。
二、过拟合
-
什么是过拟合?
过度拟合训练数据,导致模型不仅学习到有效规律,还错误地吸收了数据中的噪声、随机波动及其他无关细节 -
导致原因
过拟合现象主要由两方面因素导致:首先,模型结构过于复杂、训练数据规模过大或数据噪声较多;其次,训练过程中迭代次数过多或训练时间过长。
-
主要特征:
(1)训练集表现:模型损失极低,准确率接近完美(约100%)
(2)验证集表现:损失值明显高于训练集,准确率显著下滑
(3)学习曲线特征:训练损失持续下降,验证损失先下降,后到达某个点开始上升
(4)变化现象本质:模型不仅识别出"猫"的基本特征,还过度记忆了特定场景细节(如时间、环境、位置等)
三、欠拟合
- 什么是欠拟合?
模型能力不足,未捕捉到到数据的基本规律和重要特征,在训练集上就表现不佳,更别说在验证集了 - 导致原因
模型结构过于简单,或训练周期不足 - 主要特征:
(1)训练集表现:模型损失一直很高准确率低
(2)验证集表现:与训练集差不多,都很差
(3)学习曲线特征:训练损失和验证损失都处于一个较高的位置
(4)变化现象本质:连猫的基本轮廓和特征都没学会,更别说遇到一只动物,判断是不是猫了
四、解决过拟合&欠拟合
4.1过拟合:
- 获取更多的数据
- 人工增加数据多样性,比如对数据裁剪,旋转等
- 降低模型的复杂度
- 早停法:监控验证集性能,当性能不在提升时,停止训练
- 集成方法:训练多个模型,将它们的预测结果组合起来,如随机森林等
4.2欠拟合 - 增加模型复杂度,使用更深的层,更强的模型
- 增加训练时间,多次迭代
- 减少正则化,降低或移除正则化,让模型有更多的学习容量
- 改进特征工程,输入更有用的特征,让模型有更多的学习信息
拟合,过拟合,欠拟合都描述了模型在记忆和泛化之间的权衡在有限的训练集上学习到规律,获得强大的泛化能力,从而在真实世界的新数据上做出可靠预测。