吴恩达机器学习笔记 十七 通过偏差与方差诊断性能 正则化 偏差 方差

高偏差(欠拟合):在训练集上表现得也不好

高方差(过拟合):J_cv要远大于J_train

刚刚好:J_cv和J_train都小

J_cv和J_train 拟合多项式阶数的关系

从一阶到四阶,训练集的误差越来越小,而验证集的误差先变小后变大

也有可能同时出现高方差和高偏差

正则化

当 λ 非常大时, w 会非常小, 每个 w 都接近0,模型会是常数 b ,即一条水平线。这种情况下会出现高偏差(欠拟合),并且J_train会很大。

当 λ 为0时,没有正则化,只是拟合一个多项式,会出现过拟合/高方差。此时 J_train 很小但 J_cv 会非常大

J_train 和 J_cv 与 λ 的关系

相关推荐
哥布林学者8 小时前
深度学习进阶(二十六)现代 LLM 的核心架构设计其一:RMSNorm
机器学习·ai
计算机安禾11 小时前
【算法分析与设计】第26篇:参数化算法与固定参数可解性理论
大数据·人工智能·算法·机器学习·剪枝
AI科技星12 小时前
基于**v=c(空间光速螺旋运动)唯一第一性原理**重新完整求导证明
人工智能·线性代数·算法·机器学习·架构·概率论·学习方法
冰西瓜60012 小时前
深度学习的数学原理(四十一)—— KV Cache
人工智能·深度学习
莫陌尛.13 小时前
Possibilistic fuzzy c-means with partial supervision (SPFCM)
机器学习
morning_judger13 小时前
Agent系列(二)-记忆系统的设计
开发语言·python·机器学习
测试_AI_一辰13 小时前
AI模型评测不只看准确率-CV与Agent评测指标体系梳理
人工智能·机器学习·计算机视觉
冰西瓜60015 小时前
深度学习的数学原理(四十)—— Transformer 推理全过程
人工智能·深度学习·transformer
Bingorl15 小时前
机器学习之集成学习
人工智能·机器学习·集成学习