目录

Datawhale X 李宏毅苹果书 AI夏令营_深度学习基础学习心得Task2

本次学习主要针对自适应学习率;介绍了Adagrad,RMSprop和Adam优化器

1、为什么需要自适应学习率:

训练一个网络,在走到临界点的时候损失不再下降,而梯度并没有变得很小。相当于下坡路在两步之间,而步子迈大了,直接把下坡路跳过了,又走到上坡路上了。在这时候就需要把学习率(步幅)调低一点让梯度继续下降。

但是常规的 学习率下降方法是不够用的,我们希望在梯度大的时候走慢点,在梯度小的时候走快点,所以需要引入自适应学习率

2、Adagrad

Adagrad就可以做到上述的功能。更新公式:

其中η/σ这一项是不断更新的学习率,σ又随着迭代不断更新,新的σ来自之前每次迭代的梯度。根据公式可以看到梯度g小了,σ就小了,η/σ就大了,反之亦然。

3、RMSprop

公式:

可以看到每一阶段的σ都来自于继承于前一阶段,所以这种算法也是包含了过往所有的梯度信息,与Adagrad不同的是α是一个可以调整的超参数,可以根据需要来调整当前梯度的重要程度,如果设置α比较小,则代表比较侧重于当前梯度,在梯度下降大的时候可以很快的刹车。

4、Adam

Adam 可以看作 RMSprop 加上动量,其使用动量作为参数更新方向,并且能够自适应调整学习率。

5、学习率退火、预热

在训练后期遇到了梯度很小,而距离很近的情况时,积累的σ会变得很小,步伐会变得很大,导致往其他方向走,虽然能够修正回来,但是我们希望避免这种情况

因此引入学习率退火,即实时调整η大小,让η随着迭代不断变小,步伐也可以不断变小。

预热的方法是让学习率先变大后变小

##########################

本次学习了不同优化器调整学习率的策略,在我做课题的时候一般都是用Adam,问了别人也都说时Adam最好用,通过本次学习深入了解了它为什么好。通过查询资料了解到RMSprop更适合CNN网络,因为RMSprop 的平滑效果有助于加快收敛速度,以及RNN,因为这些模型的梯度更新具有较强的波动性;Adagrad更适合例如文本分类、自然语言处理(NLP)中的词嵌入训练等场景,因为不同的词汇或特征可能出现的频率差异很大。

本文是转载文章,点击查看原文
如有侵权,请联系 xyy@jishuzhan.net 删除
相关推荐
金能电力3 分钟前
金能电力领跑京东工业安全工器具赛道 2025年首季度数据诠释“头部效应”
人工智能·安全·金能电力安全工器具
WSSWWWSSW7 分钟前
神经网络如何表示数据
人工智能·深度学习·神经网络
多吃轻食35 分钟前
Jieba分词的原理及应用(三)
人工智能·深度学习·自然语言处理·中文分词·分词·jieba·隐马尔可夫
dragon_perfect1 小时前
ubuntu22.04上设定Service程序自启动,自动运行Conda环境下的Python脚本(亲测)
开发语言·人工智能·python·conda
by————组态2 小时前
低代码 Web 组态
前端·人工智能·物联网·低代码·数学建模·组态
凡人的AI工具箱2 小时前
PyTorch深度学习框架60天进阶学习计划 - 第41天:生成对抗网络进阶(一)
人工智能·pytorch·python·深度学习·学习·生成对抗网络
爱的叹息2 小时前
人工智能应用开发中常见的 工具、框架、平台 的分类、详细介绍及对比
人工智能·分类·数据挖掘
LIUDAN'S WORLD2 小时前
YOLOv3实践教程:使用预训练模型进行目标检测
人工智能·深度学习·yolo·计算机视觉
OpenCSG2 小时前
Kimi-VL:开源多模态视觉语言模型的崭新突破
人工智能·语言模型·自然语言处理
LIUDAN'S WORLD2 小时前
YOLOv2 快速入门与核心概念:更快、更准的目标检测利器
人工智能·yolo·目标检测