深度学习(前馈神经网络)知识点总结

用于个人知识点回顾,非详细教程

1.梯度下降

  • 前向传播

特征输入--->线性函数--->激活函数--->输出

  • 反向传播

根据损失函数反向传播,计算梯度更新参数

2.激活函数(activate function)

  • 什么是激活函数?

在神经网络前向传播中,每一层的输出还需要经过激活函数再作为下一层的输入,即 a [ 1 ] = σ ( z [ 1 ] ) a^{[1]}=\sigma(z^{[1]}) a[1]=σ(z[1])

  • 为什么需要激活函数?

如果没有非线性激活函数,模型的最终输出实际上只是输入特征x的线性组合

  • 激活函数的分类

(1)sigmoid函数:除了输出层是一个二分类问题基本不会用
a = σ ( z ) = 1 1 + e − z a=\sigma(z)=\frac{1}{1+e^{-z}} a=σ(z)=1+e−z1

(2)tanh函数:数据平均值更接近0,几乎所有场合都适用
a = t a n h ( z ) = e z − e − z e z + e − z a=tanh(z)=\frac{e^{z}-e^{-z}}{e^{z}+e^{-z}} a=tanh(z)=ez+e−zez−e−z

sigmoid函数和tanh函数两者共同的缺点是,在z特别大或者特别小的情况下,导数梯度或者函数斜率会变得特别小,最后就会接近于0,导致降低梯度下降的速度。

(3)Relu函数:修正线性单元,最常用的默认函数
a = m a x ( 0 , z ) a=max(0, z) a=max(0,z)

(4)Leaky Relu函数:进入负半区
a = m a x ( 0.01 z , z ) a=max(0.01z, z) a=max(0.01z,z)

sigmoid函数和tanh函数在正负饱和区的梯度都会等于0,而Relu和Leaky Relu可以避免梯度弥散现象,学习速度更快

3. 正则化

  • 偏差和方差

高方差过拟合,高偏差欠拟合

  • L1/L2正则化

在损失函数加上正则化,L1正则化更稀疏

  • dropout正则化

根据概率随机删除节点

  • 其它正则化方法

4.优化算法

  • mini-batch梯度下降法

数据集分成多个子集来更新梯度

  • 动量梯度下降(momentum)

参数更新时的梯度微分值计算方式采用指数加权平均


  • RMSprop(root mean square prop)
  • Adam

momentum+RMSprop

相关推荐
cxr8281 小时前
SPARC方法论在Claude Code基于规则驱动开发中的应用
人工智能·驱动开发·claude·智能体
研梦非凡1 小时前
ICCV 2025|从粗到细:用于高效3D高斯溅射的可学习离散小波变换
人工智能·深度学习·学习·3d
幂简集成2 小时前
Realtime API 语音代理端到端接入全流程教程(含 Demo,延迟 280ms)
人工智能·个人开发
龙腾-虎跃2 小时前
FreeSWITCH FunASR语音识别模块
人工智能·语音识别·xcode
智慧地球(AI·Earth)2 小时前
给AI配一台手机+电脑?智谱AutoGLM上线!
人工智能·智能手机·电脑
Godspeed Zhao2 小时前
自动驾驶中的传感器技术46——Radar(7)
人工智能·机器学习·自动驾驶
limengshi1383922 小时前
机器学习面试:请介绍几种常用的学习率衰减方式
人工智能·学习·机器学习
AKAMAI3 小时前
Sport Network 凭借 Akamai 实现卓越成就
人工智能·云原生·云计算
周末程序猿3 小时前
机器学习|大模型为什么会出现"幻觉"?
人工智能
JoannaJuanCV3 小时前
大语言模型基石:Transformer
人工智能·语言模型·transformer