吴恩达2022机器学习专项课程(一) 5.7 检测梯度下降是否收敛

问题预览/关键词

  1. 什么是梯度下降收敛?
  2. 哪些方法可以检测梯度下降是否收敛?
  3. 什么是学习曲线?
  4. 曲线上升代表什么?什么原因造成的?
  5. 如何检测梯度下降是否收敛?
  6. 多少次迭代,梯度下降会收敛?
  7. 什么是自动收敛测试?

笔记

1.梯度下降收敛

详见4.1。参数通过迭代逐渐更新,最终趋于稳定,达到或接近成本函数的最小值的过程。

2.检测收敛的方法。

  • 画学习曲线图。
  • 自动收敛测试。

3.学习曲线

横轴为梯度下降迭代次数,纵轴为成本函数值。有助于了解每次梯度下降迭代,成本函数的变化。

4.曲线上升

表示成本函数随迭代次数增加,通常学习率选择过大,或者代码有bug。

5.检测梯度下降收敛

迭代次数在400次,曲线接近变平,意味梯度下降已收敛。

6.多少次迭代会让梯度下降收敛

根据场景而定,有时需要迭代30次。有时需要迭代一千次或一万次。

7.自动收敛测试

选择一个ε值,如果梯度下降一次迭代中成本函数减小的值小于ε,则表示收敛。由于不好选择ε值,所以一般还是使用学习曲线图,更为直观。

总结

当梯度下降收敛时,意味着我们可以停止训练了。通过画出学习曲线图,我们能够直观的看到,当曲线变平时,就代表经过它对应的迭代次数时,梯度下降就可以收敛了。如果曲线有问题,我们可以从学习率过大或代码有问题两方面考虑。

相关推荐
求职小程序华东同舟求职2 分钟前
龙旗科技社招校招入职测评25年北森笔试测评题库答题攻略
大数据·人工智能·科技
李元豪10 分钟前
【行云流水ai笔记】粗粒度控制:推荐CTRL、GeDi 细粒度/多属性控制:推荐TOLE、GPT-4RL
人工智能·笔记
机器学习之心15 分钟前
小波增强型KAN网络 + SHAP可解释性分析(Pytorch实现)
人工智能·pytorch·python·kan网络
聚客AI16 分钟前
📚LangChain与LlamaIndex深度整合:企业级树状数据RAG实战指南
人工智能·langchain·llm
程序员NEO28 分钟前
精控Spring AI日志
人工智能·后端
伪_装30 分钟前
上下文工程指南
人工智能·prompt·agent·n8n
普通程序员1 小时前
Gemini CLI 新手安装与使用指南
前端·人工智能·后端
视觉语言导航1 小时前
ICCV-2025 | 复杂场景的精准可控生成新突破!基于场景图的可控 3D 户外场景生成
人工智能·深度学习·具身智能
whaosoft-1431 小时前
51c自动驾驶~合集6
人工智能
tonngw1 小时前
Manus AI与多语言手写识别
人工智能