【机器学习】深度学习(DNN)

文章目录

    • [1. 神经网络结构](#1. 神经网络结构)
    • [2. 训练步骤](#2. 训练步骤)
    • [3. 反向传播](#3. 反向传播)
    • [4. 为什么深,而不是宽(模块化)](#4. 为什么深,而不是宽(模块化))
    • [5. 初始化参数能否全为0?](#5. 初始化参数能否全为0?)

1. 神经网络结构

  • 输入层
  • 隐藏层:用于特征转换
  • 输出层:用于分类
  • 技巧:将网络中的参数写成矩阵形式,利用GPU加速

2. 训练步骤

  1. 确定神经网络的结构
  • 需要根据输入和输出的维度来确定结构,最关键的部分。
  • 注:考虑输入之间的内在关联,所有的类(class)使用同一个模型进行分类。
  1. 评估函数
  • 输出与正确结果的交叉熵。
  1. 选择最优函数
  • 梯度下降法。

3. 反向传播

概念

反向传播是一种在做梯度下降时的微分方法。

方式

从后向前计算微分,因为前面的微分需要后面的结果。

两个部分

  1. 梯度: ∇ f w = ∂ l ∂ w = ∂ z ∂ w ⋅ ∂ l ∂ z \nabla f_w = \frac{\partial l}{\partial w} = \frac{\partial z}{\partial w} \cdot \frac{\partial l}{\partial z} ∇fw=∂w∂l=∂w∂z⋅∂z∂l

  2. 正向传播: ∂ z ∂ w \frac{\partial z}{\partial w} ∂w∂z ,即每一个神经元的输出。

  3. 反向传播:
    ∂ l ∂ z = ∂ a ∂ z ⋅ ∂ l ∂ a = σ ′ ( z ) [ w 3 ⋅ ∂ l ∂ z ′ + w 4 ⋅ ∂ l ∂ z ′ ′ ] \frac{\partial l}{\partial z} = \frac{\partial a}{\partial z} \cdot \frac{\partial l}{\partial a} = \sigma'(z) \left[ w_3 \cdot \frac{\partial l}{\partial z'} + w_4 \cdot \frac{\partial l}{\partial z''} \right] ∂z∂l=∂z∂a⋅∂a∂l=σ′(z)[w3⋅∂z′∂l+w4⋅∂z′′∂l]

将正向传播和反向传播的结果相乘,得到L对w的偏微分。

与正向传播比较

  • 反向传播需要更多的内存,但效率更高。
  • 无需像正向传播那样每次计算微分时都要重新计算后续的结果,减少了栈空间的使用。

全连接反馈网络

  • 每一层的神经元输出全部进入下一层的输入。

4. 为什么深,而不是宽(模块化)

更深的网络:它的模型更加复杂,但这种复杂性是模块化的。

核心

  • 将复杂的问题分解为多个简单的问题。每一层的神经元处理相同级别的任务,其输出作为更高层次任务的数据来源。

好处

  • 每一层的输出都可以被深层的神经元重复利用,避免像浅层网络那样每次都重新计算,提高效率。
  • 深层的隐藏层能够更详细地提取特征,提取后的特征能更好地进行分类,且比人为指定的特征更接近最优解。
  • 每个基本分类器能够获得足够的训练示例,相比于平铺网络,较少的数据就能训练好。

  • 深度/平铺网络的参数量是一样的,复杂性指的是网络结构,而不是参数数量。

5. 初始化参数能否全为0?

  • 同一层的神经元是同构的,具有相同的输入和输出。如果初始参数设置为相同值,无论正向还是反向传播,它们的取值都会一样,导致学习过程无法打破对称性,最终训练结果会使同一层的参数都相同。
  • 因此,应该在初始化时随机赋值,以打破这种对称性。
相关推荐
Monkey的自我迭代几秒前
基于OpenCV的银行卡号识别系统:从原理到实现
人工智能·opencv·计算机视觉
会写代码的饭桶21 分钟前
通俗理解 LSTM 的三门机制:从剧情记忆到科学原理
人工智能·rnn·lstm·transformer
算家计算28 分钟前
ComfyUI-MultiTalk本地部署教程:创新L-RoPE机制破解多音频流绑定难题,定义多人对话视频生成新SOTA!
人工智能·开源
Stestack28 分钟前
人工智能常见分类
人工智能·分类·数据挖掘
量子位31 分钟前
18岁女孩做养老机器人,上线2天卖爆了
人工智能·llm
小林学习编程32 分钟前
2025年最新AI大模型原理和应用面试题
人工智能·ai·面试
数据分析能量站36 分钟前
大模型为什么会有幻觉?-Why Language Models Hallucinate
人工智能
小白狮ww1 小时前
RStudio 教程:以抑郁量表测评数据分析为例
人工智能·算法·机器学习
沧海一粟青草喂马1 小时前
抖音批量上传视频怎么弄?抖音矩阵账号管理的专业指南
大数据·人工智能·矩阵
demaichuandong1 小时前
详细讲解锥齿轮丝杆升降机的加工制造工艺
人工智能·自动化·制造