吴恩达《机器学习》10-4-10-5:诊断偏差和方差、正则化和偏差/方差

一、诊断偏差和方差

在机器学习中,诊断偏差和方差是改进模型性能的关键步骤。通过了解这两个概念,能够判断算法的问题究竟是欠拟合还是过拟合,从而有针对性地调整模型。

1. 概念理解

偏差(Bias): 表示模型对于训练数据的拟合程度。高偏差意味着模型过于简单,无法捕捉数据的复杂性,导致欠拟合。

方差(Variance): 表示模型对于训练数据的敏感程度。高方差意味着模型过于复杂,几乎完美地适应训练数据,但在未见过的数据上表现较差,导致过拟合。

2. 评估偏差和方差

通过绘制训练集误差和交叉验证集误差随模型复杂度(例如多项式次数)的变化图表,我们可以直观地判断模型的问题:

  • 训练集误差和交叉验证集误差近似时: 说明存在偏差问题(欠拟合)。
  • 交叉验证集误差远大于训练集误差时: 暗示了方差问题(过拟合)。
3. 图表解读

在图表中,训练集误差和交叉验证集误差随模型复杂度的变化呈现以下趋势:

  • 训练集: 随着模型复杂度的增加,误差逐渐减小。
  • 交叉验证集: 当模型过于简单时,误差较大;但随着模型复杂度的增加,误差呈现先减小后增大的趋势,表示模型开始过拟合。
4. 判断偏差和方差
  • 误差近似时: 存在偏差问题,需要更复杂的模型。
  • 交叉验证集误差远大于训练集误差时: 存在方差问题,需要减少模型复杂度。

二、正则化和偏差/方差

在机器学习中,正则化是一种防止模型过拟合的重要技术。通过引入正则化项,能够控制模型的复杂度,防止其在训练集上表现过于优越而在测试集上表现不佳。在正则化的背景下,还需要考虑正则化参数(λ)的选择,这与选择模型复杂度的过程相似。

1. 正则化的介绍

正则化是通过在代价函数中引入额外的惩罚项来实现的,通常有两种形式:L1正则化和L2正则化。这些正则化项对模型参数进行惩罚,鼓励模型使用较小的参数值,从而防止过拟合。

2. 选择正则化参数

选择正则化参数λ的过程类似于选择多项式模型的次数。需要在一系列候选λ值中选择最优的λ。选择的步骤如下:

  1. 使用训练集训练12个不同程度正则化的模型,分别对应不同λ值。
  2. 对这12个模型分别在交叉验证集上计算交叉验证误差。
  3. 选择具有最小交叉验证误差的模型对应的λ。
  4. 使用选定的模型对测试集进行评估,计算推广误差。
  5. 绘制训练集和交叉验证集模型的代价函数误差随λ变化的图表。
3. 图表解读

在图表中,随着λ的增加:

  • 当λ较小时,训练集误差较小,但交叉验证集误差较大,表示过拟合。
  • 随着λ的增加,训练集误差逐渐增加,而交叉验证集误差呈现先减小后增加的趋势。
4. 结论

通过选择适当的λ值,可以平衡模型的偏差和方差,防止过拟合,同时保持模型对训练数据的良好拟合。正则化是提高模型泛化能力的重要手段,而选择合适的λ则是正则化过程中的关键步骤。

参考资料

[中英字幕]吴恩达机器学习系列课程

黄海广博士 - 吴恩达机器学习个人笔记

相关推荐
星座5281 分钟前
基于现代R语言【Tidyverse、Tidymodel】的机器学习方法与案例分析
机器学习·r语言·tidyverse·tidymodel
Y40900118 分钟前
C语言转Java语言,相同与相异之处
java·c语言·开发语言·笔记
笑衬人心。20 分钟前
TCP 拥塞控制算法 —— 慢启动(Slow Start)笔记
笔记·tcp/ip·php
花海如潮淹33 分钟前
前端性能追踪工具:用户体验的毫秒战争
前端·笔记·ux
Andy杨2 小时前
20250718-5-Kubernetes 调度-Pod对象:重启策略+健康检查_笔记
笔记·容器·kubernetes
石迹耿千秋5 小时前
迁移学习--基于torchvision中VGG16模型的实战
人工智能·pytorch·机器学习·迁移学习
杭州杭州杭州7 小时前
Python笔记
开发语言·笔记·python
Wendy14418 小时前
【线性回归(最小二乘法MSE)】——机器学习
算法·机器学习·线性回归
iFulling10 小时前
【计算机网络】第四章:网络层(上)
学习·计算机网络