吴恩达机器学习笔记 十七 通过偏差与方差诊断性能 正则化 偏差 方差

高偏差(欠拟合):在训练集上表现得也不好

高方差(过拟合):J_cv要远大于J_train

刚刚好:J_cv和J_train都小

J_cv和J_train 拟合多项式阶数的关系

从一阶到四阶,训练集的误差越来越小,而验证集的误差先变小后变大

也有可能同时出现高方差和高偏差

正则化

当 λ 非常大时, w 会非常小, 每个 w 都接近0,模型会是常数 b ,即一条水平线。这种情况下会出现高偏差(欠拟合),并且J_train会很大。

当 λ 为0时,没有正则化,只是拟合一个多项式,会出现过拟合/高方差。此时 J_train 很小但 J_cv 会非常大

J_train 和 J_cv 与 λ 的关系

相关推荐
一招定胜负15 分钟前
图像形态学+边缘检测及CNN关联
人工智能·深度学习·cnn
万行37 分钟前
机器学习&第五章生成式生成器
人工智能·python·算法·机器学习
没学上了1 小时前
VLM-单头自注意力机制核心逻辑
人工智能·pytorch·深度学习
万行1 小时前
机器学习&第一章
人工智能·python·机器学习·flask·计算机组成原理
shangjian0071 小时前
AI大模型-机器学习-算法-线性回归
人工智能·算法·机器学习
清风吹过1 小时前
Birch聚类算法
论文阅读·深度学习·神经网络·机器学习
2301_800256111 小时前
B+树:数据库的基石 R树:空间数据的索引专家 四叉树:空间划分的网格大师
数据结构·数据库·b树·机器学习·postgresql·r-tree
Clarence Liu1 小时前
机器学习(5) 梯度下降
人工智能·机器学习
子午1 小时前
【2026原创】动物识别系统~Python+深度学习+人工智能+模型训练+图像识别
人工智能·python·深度学习
victory04311 小时前
大模型学习阶段总结和下一阶段展望
深度学习·学习·大模型