吴恩达《机器学习》10-4-10-5:诊断偏差和方差、正则化和偏差/方差

一、诊断偏差和方差

在机器学习中,诊断偏差和方差是改进模型性能的关键步骤。通过了解这两个概念,能够判断算法的问题究竟是欠拟合还是过拟合,从而有针对性地调整模型。

1. 概念理解

偏差(Bias): 表示模型对于训练数据的拟合程度。高偏差意味着模型过于简单,无法捕捉数据的复杂性,导致欠拟合。

方差(Variance): 表示模型对于训练数据的敏感程度。高方差意味着模型过于复杂,几乎完美地适应训练数据,但在未见过的数据上表现较差,导致过拟合。

2. 评估偏差和方差

通过绘制训练集误差和交叉验证集误差随模型复杂度(例如多项式次数)的变化图表,我们可以直观地判断模型的问题:

  • 训练集误差和交叉验证集误差近似时: 说明存在偏差问题(欠拟合)。
  • 交叉验证集误差远大于训练集误差时: 暗示了方差问题(过拟合)。
3. 图表解读

在图表中,训练集误差和交叉验证集误差随模型复杂度的变化呈现以下趋势:

  • 训练集: 随着模型复杂度的增加,误差逐渐减小。
  • 交叉验证集: 当模型过于简单时,误差较大;但随着模型复杂度的增加,误差呈现先减小后增大的趋势,表示模型开始过拟合。
4. 判断偏差和方差
  • 误差近似时: 存在偏差问题,需要更复杂的模型。
  • 交叉验证集误差远大于训练集误差时: 存在方差问题,需要减少模型复杂度。

二、正则化和偏差/方差

在机器学习中,正则化是一种防止模型过拟合的重要技术。通过引入正则化项,能够控制模型的复杂度,防止其在训练集上表现过于优越而在测试集上表现不佳。在正则化的背景下,还需要考虑正则化参数(λ)的选择,这与选择模型复杂度的过程相似。

1. 正则化的介绍

正则化是通过在代价函数中引入额外的惩罚项来实现的,通常有两种形式:L1正则化和L2正则化。这些正则化项对模型参数进行惩罚,鼓励模型使用较小的参数值,从而防止过拟合。

2. 选择正则化参数

选择正则化参数λ的过程类似于选择多项式模型的次数。需要在一系列候选λ值中选择最优的λ。选择的步骤如下:

  1. 使用训练集训练12个不同程度正则化的模型,分别对应不同λ值。
  2. 对这12个模型分别在交叉验证集上计算交叉验证误差。
  3. 选择具有最小交叉验证误差的模型对应的λ。
  4. 使用选定的模型对测试集进行评估,计算推广误差。
  5. 绘制训练集和交叉验证集模型的代价函数误差随λ变化的图表。
3. 图表解读

在图表中,随着λ的增加:

  • 当λ较小时,训练集误差较小,但交叉验证集误差较大,表示过拟合。
  • 随着λ的增加,训练集误差逐渐增加,而交叉验证集误差呈现先减小后增加的趋势。
4. 结论

通过选择适当的λ值,可以平衡模型的偏差和方差,防止过拟合,同时保持模型对训练数据的良好拟合。正则化是提高模型泛化能力的重要手段,而选择合适的λ则是正则化过程中的关键步骤。

参考资料

[中英字幕]吴恩达机器学习系列课程

黄海广博士 - 吴恩达机器学习个人笔记

相关推荐
19893 分钟前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm
The_cute_cat25 分钟前
Ajax和Axios的初步学习
前端·学习·ajax
amazinging1 小时前
北京-4年功能测试2年空窗-报培训班学测开-第四十三天
python·学习
JoernLee1 小时前
机器学习算法:支持向量机SVM
人工智能·算法·机器学习
V我五十买鸡腿1 小时前
顺序栈和链式栈
c语言·数据结构·笔记·算法
祁思妙想2 小时前
八股学习(五)---MySQL
学习
虾球xz2 小时前
CppCon 2018 学习:THE MOST VALUABLE VALUES
开发语言·c++·学习
麟城Lincoln2 小时前
【RHCSA-Linux考试题目笔记(自用)】servera的题目
linux·笔记·考试·rhcsa
丰锋ff3 小时前
计网学习笔记第2章 物理层(灰灰题库)
笔记·学习
Chef_Chen3 小时前
从0开始学习R语言--Day39--Spearman 秩相关
开发语言·学习·r语言