【machine learning-十-grading descent梯度下降实现】

grading descent

grading descent 算法就是更新参数,今天来学习下如何更新w和b

梯度下降

还是以线性回归的均方差损失函数如下为例:

损失函数的可视化图如下 :

横轴和纵轴分别是w和b,z轴是损失值。梯度更新w和b,让损失能走到局部最小值附近,这个局部的最小值意味着,在它周围损失的变化已经很小了。

参数更新方法 --导数和学习率

更新的方法如下:


是learning rate,也就是学习率。

它决定了梯度下降的幅度,也就是一次走大步,还是小步,通常学习率在0~1之间。

这一项是导数(其实是偏导数),微积分中的概念,不过不懂也没问题,下一节会简单介绍,且刚开始不需要深入的探究。

通常情况下,正确的做法是w和b同时更新:

当然也有特殊的情况,非同时更新,但是很少见,所以我们按照正确的左侧做法,同时更新w和b就可以。

从导数项直观理解梯度下降

为了直观理解,还是先假设b为0,损失函数映射到二维空间上

通过上面的图可以看出,损失函数的最小值是在曲线的底,所以我们的目标就是要损失靠近这个点。

而导数其实是某个具体点的斜率,于是就有图中的两种情况:

  • 导数为正数,w-学习率*导数 就是在减少w,此时刚好是在靠近最小值的点
  • 导数为负数,w-学习率*导数就是在增大w,此时也是是在靠近最小值的点

也就是说无论是在最小值的左侧或者右侧的w,都能通过上面的公式,更新到靠近最小值的w点

资料来源-吴恩达《机器学习》

相关推荐
进击的丸子21 分钟前
1126B的Demo实操——虹软ArcFace SDK(RV1126BP ARM64 V5.0)交叉编译与运行指南
人工智能·程序员·代码规范
独隅29 分钟前
Cann-Samples 实战应用与场景落地指南
人工智能·cann·cann-samples
阿里云大数据AI技术34 分钟前
让 Agent 学会诊断 Elasticsearch:一套证据绑定的智能运维方法论
人工智能
十有八七39 分钟前
手搓 Agent(四):长点记性——上下文满了怎么办,怎么记住上一次
前端·人工智能·后端
米小虾1 小时前
Jev 拆解:不写字、只判断,一个「决策模型」如何接管 LLM 最贵的那一步
人工智能·agent
数字新视界2 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
laoyeye8312 小时前
手写 vLLM 分页 KV Cache(三):引用计数、写时复制(CoW)与前缀缓存
人工智能·github
小码哥0682 小时前
AI+能源管理系统如何用于工厂?云捷EMS能源管理系统功能与界面详解
人工智能·能源·能源管理系统·能耗监测·能源管理系统源码·企业能源管理系统·ai+能源管理系统
墨林陌2 小时前
AI 热点日报(2026-11-19):Anthropic 全球史上最大 IPO 上市,谷歌发布 Gemini 4 Neon
人工智能