2.2.3机器学习—— 判定梯度下降是否收敛 + α学习率的选择

2.2.3 判定梯度下降是否收敛 + α学习率的选择

2.1、 判定梯度下降是否收敛

有两种方法,如下图:

  • 方法一:
    • 如图,随着迭代次数的增加,J(W,b)损失函数不断下降
    • 当 iterations = 300 之后,下降的就不太明显了 / 基本是一条直线了。 这时我们就说,==> "梯度下降已经收敛了"
  • 方法二:
    • 设置一个阈值 ε,这里我们让ε = 0.001 (自己设置的,但有的时候也掌握不好这个值是多少)。当J(w,b)下降值 < ε 时,我们就认为他已经收敛了
  • 最后:还是推荐方法一

2.2 如何设置学习率 α

1、常见的情况:

  • 情况一:说明 代码出现bug / α学习率选择太大了
  • 情况二:学习率α太大了
  • 情况三:这是一个正常的情况,但是当 迭代次数过多 也可能说明α学习率选择较小
  • 情况四:学习率太大了/代码的问题,你把每次更新w 写成w = w +... 应该是减法

2、选择 α 学习率的方法:

  • 首先选择从 0.0001 0.01 0.1 1 10 依次去尝试,当发现学习率α的值过大时(J(W,b)损失函数发生上弹)。
  • 再进行从最后一次正常的α值(出现损失函数J(w,b)上弹之前的值),依次迭代乘3去尝试
  • 最后选择一个比较好的值

**第一步:**首先选择从 0.0001 0.01 0.1 1 10 依次去尝试,当发现学习率α的值过大时(J(W,b)损失函数发生上弹)。

第二步:再进行从最后一次正常的α值(出现损失函数J(w,b)上弹之前的值),依次迭代乘3去尝试。 然后可以以此类推。最后收敛后,选择最合适的α值。

相关推荐
阿里云大数据AI技术2 分钟前
让 Agent 学会诊断 Elasticsearch:一套证据绑定的智能运维方法论
人工智能
十有八七7 分钟前
手搓 Agent(四):长点记性——上下文满了怎么办,怎么记住上一次
前端·人工智能·后端
zdr尽职尽责35 分钟前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
米小虾1 小时前
Jev 拆解:不写字、只判断,一个「决策模型」如何接管 LLM 最贵的那一步
人工智能·agent
数字新视界1 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
laoyeye8311 小时前
手写 vLLM 分页 KV Cache(三):引用计数、写时复制(CoW)与前缀缓存
人工智能·github
小码哥0682 小时前
AI+能源管理系统如何用于工厂?云捷EMS能源管理系统功能与界面详解
人工智能·能源·能源管理系统·能耗监测·能源管理系统源码·企业能源管理系统·ai+能源管理系统
墨林陌2 小时前
AI 热点日报(2026-11-19):Anthropic 全球史上最大 IPO 上市,谷歌发布 Gemini 4 Neon
人工智能
阿里云大数据AI技术2 小时前
把可观测做成基础设施:阿里云 Elasticsearch 监控链路的一次彻底重构
人工智能