机器学习——正则化、欠拟合、过拟合、学习曲线

过拟合(overfitting):模型只能拟合训练数据的状态。即过度训练。

避免过拟合的几种方法:

增加全部训练数据的数量(最为有效的方式)

使用简单的模型(简单的模型学不够,复杂的模型学的太多),这里的简单指的是不要过于复杂

正则化 (对目标函数后加上正则化项):使得这个"目标函数+正则化项"的值最小,即为正则化,用防止参数变得过大(参数值变小,意味着对目标函数的影响变小),λ是正则化参数,代表正则化惩罚的强度,当λ=0时,意味着不使用正则化,反正λ越大,代表对参数的变大抑制作用越强。
两种正则化方法:

①L1正则化使得对判定为不需要的参数会直接让它变为0,即直接去除不要的变量

②L2正则化会抑制参数,使变量的影响不会过大。
欠拟合(underfitting):与过拟合状态相反,即过度不训练。

过拟合就是能很好拟合训练数据,对测试数据的拟合效果不好;欠拟合是既不能拟合训练数据,又不能拟合测试数据;所以要判断模型是过拟合还是欠拟合通过测试数据的精度数值观测是无法区分的。
那么怎么通过数值判断模型是过拟合还是欠拟合状态?

欠拟合:训练精度下降,测试精度上升

欠拟合图像特点:训练曲线和测试曲线最终趋于一个定值,这个定值明显大于1

过拟合:训练精度一直很高,测试精度上升

过拟合图像特点:训练曲线趋于一个定值a,测试曲线趋于一个定值b,a和b之间有一定且明显的差距

相关推荐
Conqueror7121 小时前
机器学习丨八股学习分享 EP1
人工智能·机器学习
boring_student1 小时前
自动驾驶与车路协同
人工智能·机器学习·自动驾驶
GIS数据转换器1 小时前
构建智能汽车地图标准体系:自动驾驶技术的基石
大数据·人工智能·科技·安全·机器学习·自动驾驶·汽车
Sodas(填坑中....)2 小时前
周志华机器学习西瓜书 第九章 聚类-学习笔记
人工智能·机器学习·数据挖掘·聚类
IT猿手4 小时前
基于牛优化( OX Optimizer,OX)算法的多个无人机协同路径规划(可以自定义无人机数量及起始点),MATLAB代码
人工智能·算法·机器学习·matlab·无人机
Y1nhl4 小时前
搜广推校招面经五十
人工智能·pytorch·深度学习·算法·机器学习·推荐算法·搜索算法
_zwy5 小时前
QWQ-32B 于蓝耘 MaaS 平台:基于 Transformer 架构的 AIGC 推理优化策略
人工智能·深度学习·机器学习·自然语言处理·aigc
Nil_cxc5 小时前
机器学习周报--文献阅读
人工智能·机器学习
終不似少年遊*6 小时前
实践-给图片右下角加opencv-logo
人工智能·python·opencv·机器学习·计算机视觉
四口鲸鱼爱吃盐7 小时前
CVPR2024 | TT3D | 物理世界中可迁移目标性 3D 对抗攻击
人工智能·深度学习·机器学习·3d·对抗样本