吴恩达2022机器学习专项课程(一) 5.7 检测梯度下降是否收敛

问题预览/关键词

  1. 什么是梯度下降收敛?
  2. 哪些方法可以检测梯度下降是否收敛?
  3. 什么是学习曲线?
  4. 曲线上升代表什么?什么原因造成的?
  5. 如何检测梯度下降是否收敛?
  6. 多少次迭代,梯度下降会收敛?
  7. 什么是自动收敛测试?

笔记

1.梯度下降收敛

详见4.1。参数通过迭代逐渐更新,最终趋于稳定,达到或接近成本函数的最小值的过程。

2.检测收敛的方法。

  • 画学习曲线图。
  • 自动收敛测试。

3.学习曲线

横轴为梯度下降迭代次数,纵轴为成本函数值。有助于了解每次梯度下降迭代,成本函数的变化。

4.曲线上升

表示成本函数随迭代次数增加,通常学习率选择过大,或者代码有bug。

5.检测梯度下降收敛

迭代次数在400次,曲线接近变平,意味梯度下降已收敛。

6.多少次迭代会让梯度下降收敛

根据场景而定,有时需要迭代30次。有时需要迭代一千次或一万次。

7.自动收敛测试

选择一个ε值,如果梯度下降一次迭代中成本函数减小的值小于ε,则表示收敛。由于不好选择ε值,所以一般还是使用学习曲线图,更为直观。

总结

当梯度下降收敛时,意味着我们可以停止训练了。通过画出学习曲线图,我们能够直观的看到,当曲线变平时,就代表经过它对应的迭代次数时,梯度下降就可以收敛了。如果曲线有问题,我们可以从学习率过大或代码有问题两方面考虑。

相关推荐
COOCC111 分钟前
探秘卷积神经网络:深度学习的图像识别利器
人工智能·深度学习·神经网络·目标检测·机器学习·cnn
欲掩13 分钟前
神经网络与深度学习第四章-前馈神经网络
人工智能·深度学习·神经网络
2301_7664695615 分钟前
从零开始构建一个 RAG + Flask 问答系统
人工智能
国科安芯16 分钟前
基于先进MCU的机器人运动控制系统设计:理论、实践与前沿技术
人工智能·单片机·机器人
yangmf204024 分钟前
私有知识库 Coco AI 实战(二):摄入 MongoDB 数据
数据库·人工智能·mongodb·coco ai
果冻人工智能34 分钟前
MCP 会成为下一个 HTTP 吗?看懂 AI 交流的下一个前线
人工智能
一尘之中1 小时前
闻性与空性:从耳根圆通到究竟解脱的禅修路径
人工智能
CodeJourney.1 小时前
深度探索:DeepSeek赋能WPS图表绘制
数据库·人工智能·算法·信息可视化·excel
硅谷秋水1 小时前
端到端自动驾驶的数据规模化定律
人工智能·深度学习·机器学习·计算机视觉·自动驾驶
CC大煊1 小时前
AI编程案例拆解|基于机器学习XX评分系统-后端篇
人工智能·机器学习·ai编程