吴恩达机器学习笔记 十七 通过偏差与方差诊断性能 正则化 偏差 方差

高偏差(欠拟合):在训练集上表现得也不好

高方差(过拟合):J_cv要远大于J_train

刚刚好:J_cv和J_train都小

J_cv和J_train 拟合多项式阶数的关系

从一阶到四阶,训练集的误差越来越小,而验证集的误差先变小后变大

也有可能同时出现高方差和高偏差

正则化

当 λ 非常大时, w 会非常小, 每个 w 都接近0,模型会是常数 b ,即一条水平线。这种情况下会出现高偏差(欠拟合),并且J_train会很大。

当 λ 为0时,没有正则化,只是拟合一个多项式,会出现过拟合/高方差。此时 J_train 很小但 J_cv 会非常大

J_train 和 J_cv 与 λ 的关系

相关推荐
twilight_4695 小时前
机器学习与模式识别——线性回归算法
算法·机器学习·线性回归
算法狗26 小时前
大模型面试题:1B的模型和1T的数据大概要训练多久
人工智能·深度学习·机器学习·语言模型
啊森要自信6 小时前
CANN ops-cv:揭秘视觉算子的硬件感知优化与内存高效利用设计精髓
人工智能·深度学习·架构·transformer·cann
kong79069286 小时前
AI大模型-机器学习
人工智能·机器学习
szcsun56 小时前
机器学习(五)--决策树
人工智能·决策树·机器学习
scott1985126 小时前
transformer中的位置编码:从绝对位置编码到旋转位置编码
人工智能·深度学习·transformer
weixin_468466856 小时前
目标识别精度指标与IoU及置信度关系辨析
人工智能·深度学习·算法·yolo·图像识别·目标识别·调参
&星痕&6 小时前
人工智能:深度学习:1.pytorch概述(2)
人工智能·深度学习
power 雀儿6 小时前
FFN前馈网络C++实现
人工智能·深度学习
Master_oid6 小时前
机器学习32:机器终生学习(Life Long Learning)
人工智能·学习·机器学习