吴恩达机器学习笔记 十七 通过偏差与方差诊断性能 正则化 偏差 方差

高偏差(欠拟合):在训练集上表现得也不好

高方差(过拟合):J_cv要远大于J_train

刚刚好:J_cv和J_train都小

J_cv和J_train 拟合多项式阶数的关系

从一阶到四阶,训练集的误差越来越小,而验证集的误差先变小后变大

也有可能同时出现高方差和高偏差

正则化

当 λ 非常大时, w 会非常小, 每个 w 都接近0,模型会是常数 b ,即一条水平线。这种情况下会出现高偏差(欠拟合),并且J_train会很大。

当 λ 为0时,没有正则化,只是拟合一个多项式,会出现过拟合/高方差。此时 J_train 很小但 J_cv 会非常大

J_train 和 J_cv 与 λ 的关系

相关推荐
大鹏的NLP博客5 小时前
深度学习模型部署一致性验证规范
人工智能·深度学习
CIO_Alliance9 小时前
企业级AI化转型基础认知(2):大语言模型、RAG、Agent与微调核心概念一次厘清
人工智能·深度学习·机器学习·语言模型·ipaas·系统集成·企业cio联盟
不是az9 小时前
力控相关知识点
算法·机器学习·最小二乘法
微三云 - 廖会灵 (私域系统开发)9 小时前
电商推荐系统从0到1:协同过滤+深度学习双塔模型的架构演进与实时排序实践
人工智能·深度学习·架构
卡梅德生物科技小能手10 小时前
卡美德生物科普MMP9(基质金属蛋白酶9):细胞外基质重塑的关键调节因子
经验分享·深度学习·生活
AI人工智能+10 小时前
一种基于深度学习的高精度阿拉伯文OCR识别系统,有效提升了阿拉伯语文档的数字化处理效率
深度学习·计算机视觉·自然语言处理·ocr·阿拉伯文识别
萧青山11 小时前
公文段落标题分类器实战:28维XGBoost实现标题层级识别(F1=0.99+)
机器学习
大鹏的NLP博客12 小时前
深度学习模型 ONNX 与 RKNN 数值一致性校验通用技术报告
人工智能·深度学习
Ivanqhz12 小时前
DRN(深度强化学习推荐网络)
人工智能·线性代数·机器学习·矩阵·dnn