深度学习与神经网络 | 邱锡鹏 | 第七章学习笔记 网络优化与正则化

7.网络优化与正则化

文章目录

  • 7.网络优化与正则化
    • 7.1神经网络优化的特点
    • [7.2 优化算法改进](#7.2 优化算法改进)
    • [7.3 动态学习率](#7.3 动态学习率)
    • [7.4 梯度方向优化](#7.4 梯度方向优化)
    • [7.5 参数初始化](#7.5 参数初始化)
    • [7.6 数据预处理](#7.6 数据预处理)
    • [7.7 逐层规范化](#7.7 逐层规范化)
    • [7.8 超参数优化](#7.8 超参数优化)
    • [7.9 正则化](#7.9 正则化)
    • [7.10 暂退法](#7.10 暂退法)
    • [7.11 l1和l2正则化](#7.11 l1和l2正则化)
    • [7.12 数据增强](#7.12 数据增强)

7.1神经网络优化的特点

所以找个平坦最小值就好了,不一定需要全局最小值

7.2 优化算法改进

7.3 动态学习率

总体趋势还是减少的。时不时变大是为了找到更好的局部最优

7.4 梯度方向优化

效果比随机梯度要好

7.5 参数初始化

上图通常用在循环网络中

7.6 数据预处理

问题就是会对参数初始化产生一定的影响,也会对优化产生一定的影响

标准差为0的数据没啥意义,直接就扔了

7.7 逐层规范化

7.8 超参数优化

7.9 正则化

7.10 暂退法

可以提高网络的泛化能力

7.11 l1和l2正则化

7.12 数据增强

可以增强模型泛化能力

相关推荐
hjs_deeplearning22 分钟前
认知篇#10:何为分布式与多智能体?二者联系?
人工智能·分布式·深度学习·学习·agent·智能体
瑶光守护者25 分钟前
【卫星通信】超低比特率语音编解码器(ULBC)的信道特性评估
深度学习·华为·卫星通信·3gpp·ulbc
昵称是6硬币7 小时前
YOLOv11: AN OVERVIEW OF THE KEY ARCHITECTURAL ENHANCEMENTS目标检测论文精读(逐段解析)
图像处理·人工智能·深度学习·yolo·目标检测·计算机视觉
静心问道8 小时前
XLSR-Wav2Vec2:用于语音识别的无监督跨语言表示学习
人工智能·学习·语音识别
云渚钓月梦未杳8 小时前
深度学习04 卷积神经网络CNN
人工智能·深度学习·cnn
heimeiyingwang9 天前
【深度学习加速探秘】Winograd 卷积算法:让计算效率 “飞” 起来
人工智能·深度学习·算法
IAM四十二9 天前
Google 端侧 AI 框架 LiteRT 初探
android·深度学习·tensorflow
小白菜3336669 天前
DAY 37 早停策略和模型权重的保存
人工智能·深度学习·算法
yizhimie379 天前
DAY 40 训练和测试的规范写法
深度学习
zeroporn9 天前
以玄幻小说方式打开深度学习词嵌入算法!! 使用Skip-gram来完成 Word2Vec 词嵌入(Embedding)
人工智能·深度学习·算法·自然语言处理·embedding·word2vec·skip-gram