吴恩达2022机器学习专项课程(一) 5.5 特征缩放1 & 5.6 特征缩放2

问题预览/关键词

  1. 什么是特征缩放?作用是什么?
  2. 特征尺度和参数w权重的关系是?
  3. 算法为什么要调节w权重?
  4. 不进行特征缩放对梯度下降的影响?
  5. 有特征缩放对梯度下降的影响?
  6. 实现特征缩放的三种方法是?
  7. 如何实现最大值缩放?
  8. 如何实现均值归一化?
  9. 如何实现Z-score标准化?
  10. 判断缩放成功的标准是?
  11. 什么情况需要重新缩放?

笔记

1.特征缩放

将所有特征调整到同一尺度,加速梯度下降收敛,参数权重均衡,模型无偏向特征,提高准确性。

2.特征尺度和w权重的关系

当特征x取值范围大,算法会将对应w的权重(取值范围)调小,反之亦然。

3.算法调节w权重

保证模型里的每个特征影响力均衡,尽量达到特征缩放的效果。

4.没有特征缩放

特征差异过大导致w的权重差异大,等高线图呈椭圆,梯度下降反复横跳,收敛变慢,影响性能。

5.进行特征缩放

特征差异小,尺度一致,w参数的权重尺度一致,梯度下降更快收敛。

6.特征缩放的三种方法

最大值缩放,均值归一化,Z-score标准化。

7.最大值缩放

输入特征的最小值和最大值分别除以最大值,重新计算特征取值范围。

8.均值归一化

分子:某个输入特征列表里的每一个特征值减去平均值。分母:特征范围的最大值减去最小值。

9.Z-score标准化

分子:某个输入特征列表里的每一个特征值减去平均值。分母:计算该列表里每个特征的标准差。

10.缩放成功标准

通常是 -1 到 +1 附近,但 -3 到 +3 或 -0.3 到 +0.3 也可接受。

11.重新缩放

范围过大或过小,需要重新缩放。

总结

在每个特征的差异较大的情况下,如果没有特征缩放,对应每个w参数的差异也很大,导致梯度下降的收敛速度变慢,影响模型的性能。如果使用特征缩放,每个w参数的尺度也一致,能使梯度下降尽快收敛。特征缩放有三种方法:最大值缩放,均值归一化,Z-score标准化。如果特征缩放后的范围过大或过小,我们都要重新缩放。如果缩放后的范围适度,则可以使用这个范围。

相关推荐
和鲸社区3 分钟前
《斯坦福CS336》作业1开源,从0手搓大模型|代码复现+免环境配置
人工智能·python·深度学习·计算机视觉·语言模型·自然语言处理·nlp
fanstuck5 分钟前
2025 年高教社杯全国大学生数学建模竞赛C 题 NIPT 的时点选择与胎儿的异常判定详解(一)
人工智能·目标检测·数学建模·数据挖掘·aigc
cxr8286 分钟前
Claude Code PM 深度实战指南:AI驱动的GitHub项目管理与并行协作
人工智能·驱动开发·github
THMAIL40 分钟前
深度学习从入门到精通 - LSTM与GRU深度剖析:破解长序列记忆遗忘困境
人工智能·python·深度学习·算法·机器学习·逻辑回归·lstm
Gyoku Mint44 分钟前
NLP×第六卷:她给记忆加了筛子——LSTM与GRU的贴靠机制
人工智能·深度学习·神经网络·语言模型·自然语言处理·gru·lstm
悠哉悠哉愿意1 小时前
【数学建模学习笔记】机器学习分类:随机森林分类
学习·机器学习·数学建模
玉木子1 小时前
机器学习(七)决策树-分类
决策树·机器学习·分类
YF云飞2 小时前
数据仓库进化:Agent驱动数智化新范式
数据仓库·人工智能·ai
悠哉悠哉愿意2 小时前
【数学建模学习笔记】机器学习分类:KNN分类
学习·机器学习·数学建模
ningmengjing_2 小时前
理解损失函数:机器学习的指南针与裁判
人工智能·深度学习·机器学习