深度学习与神经网络 | 邱锡鹏 | 第七章学习笔记 网络优化与正则化

7.网络优化与正则化

文章目录

  • 7.网络优化与正则化
    • 7.1神经网络优化的特点
    • [7.2 优化算法改进](#7.2 优化算法改进)
    • [7.3 动态学习率](#7.3 动态学习率)
    • [7.4 梯度方向优化](#7.4 梯度方向优化)
    • [7.5 参数初始化](#7.5 参数初始化)
    • [7.6 数据预处理](#7.6 数据预处理)
    • [7.7 逐层规范化](#7.7 逐层规范化)
    • [7.8 超参数优化](#7.8 超参数优化)
    • [7.9 正则化](#7.9 正则化)
    • [7.10 暂退法](#7.10 暂退法)
    • [7.11 l1和l2正则化](#7.11 l1和l2正则化)
    • [7.12 数据增强](#7.12 数据增强)

7.1神经网络优化的特点

所以找个平坦最小值就好了,不一定需要全局最小值

7.2 优化算法改进

7.3 动态学习率

总体趋势还是减少的。时不时变大是为了找到更好的局部最优

7.4 梯度方向优化

效果比随机梯度要好

7.5 参数初始化

上图通常用在循环网络中

7.6 数据预处理

问题就是会对参数初始化产生一定的影响,也会对优化产生一定的影响

标准差为0的数据没啥意义,直接就扔了

7.7 逐层规范化

7.8 超参数优化

7.9 正则化

7.10 暂退法

可以提高网络的泛化能力

7.11 l1和l2正则化

7.12 数据增强

可以增强模型泛化能力

相关推荐
宇称不守恒4.03 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
_Kayo_4 小时前
VUE2 学习笔记6 vue数据监测原理
vue.js·笔记·学习
chenchihwen4 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
超浪的晨4 小时前
Java UDP 通信详解:从基础到实战,彻底掌握无连接网络编程
java·开发语言·后端·学习·个人开发
码字的字节4 小时前
深度学习损失函数的设计哲学:从交叉熵到Huber损失的深入探索
深度学习·交叉熵·huber
凪卄12135 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm
碳酸的唐5 小时前
Inception网络架构:深度学习视觉模型的里程碑
网络·深度学习·架构
AI赋能5 小时前
自动驾驶训练-tub详解
人工智能·深度学习·自动驾驶
seasonsyy5 小时前
1.安装anaconda详细步骤(含安装截图)
python·深度学习·环境配置
deephub5 小时前
AI代理性能提升实战:LangChain+LangGraph内存管理与上下文优化完整指南
人工智能·深度学习·神经网络·langchain·大语言模型·rag