吴恩达《机器学习》10-4-10-5:诊断偏差和方差、正则化和偏差/方差

一、诊断偏差和方差

在机器学习中,诊断偏差和方差是改进模型性能的关键步骤。通过了解这两个概念,能够判断算法的问题究竟是欠拟合还是过拟合,从而有针对性地调整模型。

1. 概念理解

偏差(Bias): 表示模型对于训练数据的拟合程度。高偏差意味着模型过于简单,无法捕捉数据的复杂性,导致欠拟合。

方差(Variance): 表示模型对于训练数据的敏感程度。高方差意味着模型过于复杂,几乎完美地适应训练数据,但在未见过的数据上表现较差,导致过拟合。

2. 评估偏差和方差

通过绘制训练集误差和交叉验证集误差随模型复杂度(例如多项式次数)的变化图表,我们可以直观地判断模型的问题:

  • 训练集误差和交叉验证集误差近似时: 说明存在偏差问题(欠拟合)。
  • 交叉验证集误差远大于训练集误差时: 暗示了方差问题(过拟合)。
3. 图表解读

在图表中,训练集误差和交叉验证集误差随模型复杂度的变化呈现以下趋势:

  • 训练集: 随着模型复杂度的增加,误差逐渐减小。
  • 交叉验证集: 当模型过于简单时,误差较大;但随着模型复杂度的增加,误差呈现先减小后增大的趋势,表示模型开始过拟合。
4. 判断偏差和方差
  • 误差近似时: 存在偏差问题,需要更复杂的模型。
  • 交叉验证集误差远大于训练集误差时: 存在方差问题,需要减少模型复杂度。

二、正则化和偏差/方差

在机器学习中,正则化是一种防止模型过拟合的重要技术。通过引入正则化项,能够控制模型的复杂度,防止其在训练集上表现过于优越而在测试集上表现不佳。在正则化的背景下,还需要考虑正则化参数(λ)的选择,这与选择模型复杂度的过程相似。

1. 正则化的介绍

正则化是通过在代价函数中引入额外的惩罚项来实现的,通常有两种形式:L1正则化和L2正则化。这些正则化项对模型参数进行惩罚,鼓励模型使用较小的参数值,从而防止过拟合。

2. 选择正则化参数

选择正则化参数λ的过程类似于选择多项式模型的次数。需要在一系列候选λ值中选择最优的λ。选择的步骤如下:

  1. 使用训练集训练12个不同程度正则化的模型,分别对应不同λ值。
  2. 对这12个模型分别在交叉验证集上计算交叉验证误差。
  3. 选择具有最小交叉验证误差的模型对应的λ。
  4. 使用选定的模型对测试集进行评估,计算推广误差。
  5. 绘制训练集和交叉验证集模型的代价函数误差随λ变化的图表。
3. 图表解读

在图表中,随着λ的增加:

  • 当λ较小时,训练集误差较小,但交叉验证集误差较大,表示过拟合。
  • 随着λ的增加,训练集误差逐渐增加,而交叉验证集误差呈现先减小后增加的趋势。
4. 结论

通过选择适当的λ值,可以平衡模型的偏差和方差,防止过拟合,同时保持模型对训练数据的良好拟合。正则化是提高模型泛化能力的重要手段,而选择合适的λ则是正则化过程中的关键步骤。

参考资料

[中英字幕]吴恩达机器学习系列课程

黄海广博士 - 吴恩达机器学习个人笔记

相关推荐
peace..7 分钟前
温湿度变送器与电脑进行485通讯连接并显示在触摸屏中(mcgs)
经验分享·学习·其他
teeeeeeemo16 分钟前
回调函数 vs Promise vs async/await区别
开发语言·前端·javascript·笔记
软件黑马王子1 小时前
C#系统学习第八章——字符串
开发语言·学习·c#
AI数据皮皮侠2 小时前
中国区域10m空间分辨率楼高数据集(全国/分省/分市/免费数据)
大数据·人工智能·机器学习·分类·业界资讯
张德锋3 小时前
Pytorch实现天气识别
机器学习
strongwyy3 小时前
蓝牙墨水屏上位机学习(2)
学习
九皇叔叔3 小时前
(3)手摸手-学习 Vue3 之 变量声明【ref 和 reactive】区别
学习
致***锌4 小时前
期权标准化合约是什么?
笔记
Wilber的技术分享5 小时前
【机器学习实战笔记 14】集成学习:XGBoost算法(一) 原理简介与快速应用
人工智能·笔记·算法·随机森林·机器学习·集成学习·xgboost
19895 小时前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm