吴恩达2022机器学习专项课程(一) 5.7 检测梯度下降是否收敛

问题预览/关键词

  1. 什么是梯度下降收敛?
  2. 哪些方法可以检测梯度下降是否收敛?
  3. 什么是学习曲线?
  4. 曲线上升代表什么?什么原因造成的?
  5. 如何检测梯度下降是否收敛?
  6. 多少次迭代,梯度下降会收敛?
  7. 什么是自动收敛测试?

笔记

1.梯度下降收敛

详见4.1。参数通过迭代逐渐更新,最终趋于稳定,达到或接近成本函数的最小值的过程。

2.检测收敛的方法。

  • 画学习曲线图。
  • 自动收敛测试。

3.学习曲线

横轴为梯度下降迭代次数,纵轴为成本函数值。有助于了解每次梯度下降迭代,成本函数的变化。

4.曲线上升

表示成本函数随迭代次数增加,通常学习率选择过大,或者代码有bug。

5.检测梯度下降收敛

迭代次数在400次,曲线接近变平,意味梯度下降已收敛。

6.多少次迭代会让梯度下降收敛

根据场景而定,有时需要迭代30次。有时需要迭代一千次或一万次。

7.自动收敛测试

选择一个ε值,如果梯度下降一次迭代中成本函数减小的值小于ε,则表示收敛。由于不好选择ε值,所以一般还是使用学习曲线图,更为直观。

总结

当梯度下降收敛时,意味着我们可以停止训练了。通过画出学习曲线图,我们能够直观的看到,当曲线变平时,就代表经过它对应的迭代次数时,梯度下降就可以收敛了。如果曲线有问题,我们可以从学习率过大或代码有问题两方面考虑。

相关推荐
qzhqbb1 小时前
基于统计方法的语言模型
人工智能·语言模型·easyui
冷眼看人间恩怨1 小时前
【话题讨论】AI大模型重塑软件开发:定义、应用、优势与挑战
人工智能·ai编程·软件开发
2401_883041081 小时前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
AI极客菌2 小时前
Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。
人工智能·计算机视觉·ai作画·stable diffusion·aigc·flux·人工智能作画
阿_旭2 小时前
一文读懂| 自注意力与交叉注意力机制在计算机视觉中作用与基本原理
人工智能·深度学习·计算机视觉·cross-attention·self-attention
王哈哈^_^3 小时前
【数据集】【YOLO】【目标检测】交通事故识别数据集 8939 张,YOLO道路事故目标检测实战训练教程!
前端·人工智能·深度学习·yolo·目标检测·计算机视觉·pyqt
Power20246663 小时前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k4 小时前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫4 小时前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法
沉下心来学鲁班4 小时前
复现LLM:带你从零认识语言模型
人工智能·语言模型