吴恩达2022机器学习专项课程(一) 5.7 检测梯度下降是否收敛

问题预览/关键词

  1. 什么是梯度下降收敛?
  2. 哪些方法可以检测梯度下降是否收敛?
  3. 什么是学习曲线?
  4. 曲线上升代表什么?什么原因造成的?
  5. 如何检测梯度下降是否收敛?
  6. 多少次迭代,梯度下降会收敛?
  7. 什么是自动收敛测试?

笔记

1.梯度下降收敛

详见4.1。参数通过迭代逐渐更新,最终趋于稳定,达到或接近成本函数的最小值的过程。

2.检测收敛的方法。

  • 画学习曲线图。
  • 自动收敛测试。

3.学习曲线

横轴为梯度下降迭代次数,纵轴为成本函数值。有助于了解每次梯度下降迭代,成本函数的变化。

4.曲线上升

表示成本函数随迭代次数增加,通常学习率选择过大,或者代码有bug。

5.检测梯度下降收敛

迭代次数在400次,曲线接近变平,意味梯度下降已收敛。

6.多少次迭代会让梯度下降收敛

根据场景而定,有时需要迭代30次。有时需要迭代一千次或一万次。

7.自动收敛测试

选择一个ε值,如果梯度下降一次迭代中成本函数减小的值小于ε,则表示收敛。由于不好选择ε值,所以一般还是使用学习曲线图,更为直观。

总结

当梯度下降收敛时,意味着我们可以停止训练了。通过画出学习曲线图,我们能够直观的看到,当曲线变平时,就代表经过它对应的迭代次数时,梯度下降就可以收敛了。如果曲线有问题,我们可以从学习率过大或代码有问题两方面考虑。

相关推荐
zm-v-159304339861 小时前
ArcGIS 水文分析升级:基于深度学习的流域洪水演进过程模拟
人工智能·深度学习·arcgis
拓端研究室2 小时前
视频讲解|核密度估计朴素贝叶斯:业务数据分类—从理论到实践
人工智能·分类·数据挖掘
灵智工坊LingzhiAI2 小时前
人体坐姿检测系统项目教程(YOLO11+PyTorch+可视化)
人工智能·pytorch·python
昨日之日20062 小时前
Video Background Remover V3版 - AI视频一键抠像/视频换背景 支持50系显卡 一键整合包下载
人工智能·音视频
SHIPKING3933 小时前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
巴伦是只猫3 小时前
【机器学习笔记Ⅰ】11 多项式回归
笔记·机器学习·回归
子燕若水7 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室8 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿8 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫8 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习