吴恩达机器学习笔记 十七 通过偏差与方差诊断性能 正则化 偏差 方差

高偏差(欠拟合):在训练集上表现得也不好

高方差(过拟合):J_cv要远大于J_train

刚刚好:J_cv和J_train都小

J_cv和J_train 拟合多项式阶数的关系

从一阶到四阶,训练集的误差越来越小,而验证集的误差先变小后变大

也有可能同时出现高方差和高偏差

正则化

当 λ 非常大时, w 会非常小, 每个 w 都接近0,模型会是常数 b ,即一条水平线。这种情况下会出现高偏差(欠拟合),并且J_train会很大。

当 λ 为0时,没有正则化,只是拟合一个多项式,会出现过拟合/高方差。此时 J_train 很小但 J_cv 会非常大

J_train 和 J_cv 与 λ 的关系

相关推荐
二向箔reverse2 分钟前
机器学习算法核心总结
人工智能·算法·机器学习
聚客AI1 小时前
🧠深度解析模型压缩革命:减枝、量化、知识蒸馏
人工智能·深度学习·llm
SHIPKING3931 小时前
【机器学习&深度学习】Ollama、vLLM、LMDeploy对比:选择适合你的 LLM 推理框架
人工智能·深度学习·机器学习
coding者在努力2 小时前
深度学习核心技巧
人工智能·深度学习
yzx9910132 小时前
从机器视觉到图像识别:计算机视觉的多维探索
人工智能·深度学习·机器学习
是Dream呀2 小时前
GPT-5时代的AI工具:AiOnly一站式平台深度体验报告
人工智能·深度学习·机器学习
先做个垃圾出来………3 小时前
迁移学习(Transfer Learning)
人工智能·机器学习·迁移学习
CoovallyAIHub7 小时前
标注成本骤降,DINOv3炸裂发布!冻结 backbone 即拿即用,性能对标SOTA
深度学习·算法·计算机视觉
wait a minutes7 小时前
【自动驾驶】8月 端到端自动驾驶算法论文(arxiv20250819)
人工智能·机器学习·自动驾驶
聚客AI7 小时前
深度拆解AI大模型从训练框架、推理优化到市场趋势与基础设施挑战
图像处理·人工智能·pytorch·深度学习·机器学习·自然语言处理·transformer