吴恩达2022机器学习专项课程(一) 5.7 检测梯度下降是否收敛

问题预览/关键词

  1. 什么是梯度下降收敛?
  2. 哪些方法可以检测梯度下降是否收敛?
  3. 什么是学习曲线?
  4. 曲线上升代表什么?什么原因造成的?
  5. 如何检测梯度下降是否收敛?
  6. 多少次迭代,梯度下降会收敛?
  7. 什么是自动收敛测试?

笔记

1.梯度下降收敛

详见4.1。参数通过迭代逐渐更新,最终趋于稳定,达到或接近成本函数的最小值的过程。

2.检测收敛的方法。

  • 画学习曲线图。
  • 自动收敛测试。

3.学习曲线

横轴为梯度下降迭代次数,纵轴为成本函数值。有助于了解每次梯度下降迭代,成本函数的变化。

4.曲线上升

表示成本函数随迭代次数增加,通常学习率选择过大,或者代码有bug。

5.检测梯度下降收敛

迭代次数在400次,曲线接近变平,意味梯度下降已收敛。

6.多少次迭代会让梯度下降收敛

根据场景而定,有时需要迭代30次。有时需要迭代一千次或一万次。

7.自动收敛测试

选择一个ε值,如果梯度下降一次迭代中成本函数减小的值小于ε,则表示收敛。由于不好选择ε值,所以一般还是使用学习曲线图,更为直观。

总结

当梯度下降收敛时,意味着我们可以停止训练了。通过画出学习曲线图,我们能够直观的看到,当曲线变平时,就代表经过它对应的迭代次数时,梯度下降就可以收敛了。如果曲线有问题,我们可以从学习率过大或代码有问题两方面考虑。

相关推荐
s1ckrain6 分钟前
【论文阅读】ON THE ROLE OF ATTENTION HEADS IN LARGE LANGUAGE MODEL SAFETY
论文阅读·人工智能·语言模型·大模型安全
Jackilina_Stone7 分钟前
【论文|复现】YOLOFuse:面向多模态目标检测的双流融合框架
人工智能·python·目标检测·计算机视觉·融合
Java中文社群10 分钟前
Coze开源版?别吹了!
人工智能·后端·开源
机器之心28 分钟前
硬核「吵」了30分钟:这场大模型圆桌,把AI行业的分歧说透了
人工智能
音视频牛哥34 分钟前
RTSP|RTMP播放器 in Unity:开源不够用?从工程视角重新定义播放器选型
人工智能·计算机视觉·直播
不失者1 小时前
关于AI时代的一点思考
人工智能·后端·程序员
好奇心笔记1 小时前
D1数据库实战:SQLite在云端的华丽转身
人工智能·后端
wayman_he_何大民1 小时前
🚀 RAG系统架构:进阶版
人工智能
汉唐明月1 小时前
机器学习:使用LSTM训练情感分析模型
机器学习
字节跳动终端技术1 小时前
豆包编程邀你来玩|一起来听「北大同学的 AI 玩学指南」
人工智能·ai编程·vibecoding