2.2.3机器学习—— 判定梯度下降是否收敛 + α学习率的选择

2.2.3 判定梯度下降是否收敛 + α学习率的选择

2.1、 判定梯度下降是否收敛

有两种方法,如下图:

  • 方法一:
    • 如图,随着迭代次数的增加,J(W,b)损失函数不断下降
    • 当 iterations = 300 之后,下降的就不太明显了 / 基本是一条直线了。 这时我们就说,==> "梯度下降已经收敛了"
  • 方法二:
    • 设置一个阈值 ε,这里我们让ε = 0.001 (自己设置的,但有的时候也掌握不好这个值是多少)。当J(w,b)下降值 < ε 时,我们就认为他已经收敛了
  • 最后:还是推荐方法一

2.2 如何设置学习率 α

1、常见的情况:

  • 情况一:说明 代码出现bug / α学习率选择太大了
  • 情况二:学习率α太大了
  • 情况三:这是一个正常的情况,但是当 迭代次数过多 也可能说明α学习率选择较小
  • 情况四:学习率太大了/代码的问题,你把每次更新w 写成w = w +... 应该是减法

2、选择 α 学习率的方法:

  • 首先选择从 0.0001 0.01 0.1 1 10 依次去尝试,当发现学习率α的值过大时(J(W,b)损失函数发生上弹)。
  • 再进行从最后一次正常的α值(出现损失函数J(w,b)上弹之前的值),依次迭代乘3去尝试
  • 最后选择一个比较好的值

**第一步:**首先选择从 0.0001 0.01 0.1 1 10 依次去尝试,当发现学习率α的值过大时(J(W,b)损失函数发生上弹)。

第二步:再进行从最后一次正常的α值(出现损失函数J(w,b)上弹之前的值),依次迭代乘3去尝试。 然后可以以此类推。最后收敛后,选择最合适的α值。

相关推荐
网易云信7 分钟前
网易智企 × 利尔达智能工牌:如何把一线对话变成可复用的企业资产
人工智能
前进的李工26 分钟前
Agent 学习笔记 15:Agent 怎样响应事件与中途打断?
人工智能·笔记·agent·openclaw·工具设计·gpt-6 astra·原生异步
天树星智源42 分钟前
记忆该记「赔率跳变」:机器人长时程十连任务,事件记忆 88.0%,删掉失败记录只剩 1.7%
论文阅读·人工智能·机器人
京东云开发者1 小时前
京东云推出全新JoyCode智能编码工具,让AI Coding从代码生成走向成果交付
人工智能
泓博1 小时前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
软件技术NINI1 小时前
DeepSeek 大模型落地应用实战指南
大数据·人工智能
大模型真好玩1 小时前
大模型训练全流程实战指南实战篇(十八)——微调问答对数据构建技术
人工智能·agent·deepseek
甲维斯1 小时前
谷歌太抽象了,快速测一下Hydrogen!
人工智能
Dawson Zhu2 小时前
【分布式训练⑧】通信优化:NCCL、Ring AllReduce与计算通信重叠
人工智能·语言模型·架构·aigc·agi
泯泷2 小时前
AI Agent 工具设计:给模型装上“手脚”,为什么不能只会调用 API?
人工智能·llm·agent