吴恩达机器学习笔记 十七 通过偏差与方差诊断性能 正则化 偏差 方差

高偏差(欠拟合):在训练集上表现得也不好

高方差(过拟合):J_cv要远大于J_train

刚刚好:J_cv和J_train都小

J_cv和J_train 拟合多项式阶数的关系

从一阶到四阶,训练集的误差越来越小,而验证集的误差先变小后变大

也有可能同时出现高方差和高偏差

正则化

当 λ 非常大时, w 会非常小, 每个 w 都接近0,模型会是常数 b ,即一条水平线。这种情况下会出现高偏差(欠拟合),并且J_train会很大。

当 λ 为0时,没有正则化,只是拟合一个多项式,会出现过拟合/高方差。此时 J_train 很小但 J_cv 会非常大

J_train 和 J_cv 与 λ 的关系

相关推荐
小黎147577898536421 小时前
OpenClaw 连接飞书完整指南:插件安装、配置与踩坑记录
机器学习
Narrastory1 天前
明日香 - Pytorch 快速入门保姆级教程(一)
人工智能·pytorch·深度学习
Narrastory1 天前
明日香 - Pytorch 快速入门保姆级教程(二)
人工智能·pytorch·深度学习
哥布林学者1 天前
高光谱成像(二)光谱角映射 SAM
机器学习·高光谱成像
哥布林学者2 天前
高光谱成像(一)高光谱图像
机器学习·高光谱成像
罗西的思考2 天前
AI Agent框架探秘:拆解 OpenHands(10)--- Runtime
人工智能·算法·机器学习
HXhlx2 天前
CART决策树基本原理
算法·机器学习
程序员打怪兽2 天前
详解Visual Transformer (ViT)网络模型
深度学习
CoovallyAIHub4 天前
仿生学突破:SILD模型如何让无人机在电力线迷宫中发现“隐形威胁”
深度学习·算法·计算机视觉
CoovallyAIHub4 天前
从春晚机器人到零样本革命:YOLO26-Pose姿态估计实战指南
深度学习·算法·计算机视觉