梯度下降的基本原理

序言:最近再整理之前的一些笔记,感觉梯度下降之前整理的很详细也很杂乱,删了也不是,留着看着也烦,就发到这里来当个备用吧。

随机梯度下降(SGD)

求极小值:①有条件的极小值(有条件的用拉格朗日),②无条件的极小值(无条件的用梯度下降)。

梯度是什么:

梯度有什么用:

怎么走:

梯度下降的迭代举例:

关键算法:

Momentum算法

NAG算法

Adagrad算法

RMSprop算法

解决了Adagrad算法中学习率衰减过快的问题。

改进点:1.时间窗口机制

2.均值代替平方和

3.历史梯度均值和当前梯度加权平均

AdaDelta算法

Adam算法

Adam吸收了Adagrad(自适应学习率的梯度下降算法)和动量梯度下降算法的优点既能适应稀疏梯度(即自然语言和计算机视觉问题),又能缓解梯度震荡的问题.

相关推荐
蹦蹦跳跳真可爱58912 分钟前
Python----MCP(MCP 简介、uv工具、创建MCP流程、MCP客户端接入Qwen、MCP客户端接入vLLM)
开发语言·人工智能·python·语言模型
SKYDROID云卓小助手13 分钟前
无人设备遥控器之多设备协同技术篇
网络·人工智能·嵌入式硬件·算法·信号处理
熬了夜的程序员36 分钟前
【华为机试】34. 在排序数组中查找元素的第一个和最后一个位置
数据结构·算法·华为od·华为·面试·golang
火山引擎开发者社区43 分钟前
TRAE cue 体验提升之 Latency 篇
人工智能·trae
点点小心思1 小时前
【AI】大模型提示词学习路径:从入门到进阶的6个阶段
人工智能·ai·大模型·提示词
Se_ren_di_pity1 小时前
CS231n2017-Lecture9经典CNN架构笔记
人工智能·笔记·cnn
蓝桉8021 小时前
opencv学习(视频读取)
人工智能·opencv·学习
phltxy1 小时前
ArrayList与顺序表
java·算法
Hcoco_me1 小时前
具身智能 && 自动驾驶相关岗位的技术栈与能力地图
人工智能·机器学习·自动驾驶
yinyan13142 小时前
一起学springAI系列一:初体验
java·人工智能·ai