【机器学习】深度学习(DNN)

文章目录

    • [1. 神经网络结构](#1. 神经网络结构)
    • [2. 训练步骤](#2. 训练步骤)
    • [3. 反向传播](#3. 反向传播)
    • [4. 为什么深,而不是宽(模块化)](#4. 为什么深,而不是宽(模块化))
    • [5. 初始化参数能否全为0?](#5. 初始化参数能否全为0?)

1. 神经网络结构

  • 输入层
  • 隐藏层:用于特征转换
  • 输出层:用于分类
  • 技巧:将网络中的参数写成矩阵形式,利用GPU加速

2. 训练步骤

  1. 确定神经网络的结构
  • 需要根据输入和输出的维度来确定结构,最关键的部分。
  • 注:考虑输入之间的内在关联,所有的类(class)使用同一个模型进行分类。
  1. 评估函数
  • 输出与正确结果的交叉熵。
  1. 选择最优函数
  • 梯度下降法。

3. 反向传播

概念

反向传播是一种在做梯度下降时的微分方法。

方式

从后向前计算微分,因为前面的微分需要后面的结果。

两个部分

  1. 梯度: ∇ f w = ∂ l ∂ w = ∂ z ∂ w ⋅ ∂ l ∂ z \nabla f_w = \frac{\partial l}{\partial w} = \frac{\partial z}{\partial w} \cdot \frac{\partial l}{\partial z} ∇fw=∂w∂l=∂w∂z⋅∂z∂l

  2. 正向传播: ∂ z ∂ w \frac{\partial z}{\partial w} ∂w∂z ,即每一个神经元的输出。

  3. 反向传播:
    ∂ l ∂ z = ∂ a ∂ z ⋅ ∂ l ∂ a = σ ′ ( z ) [ w 3 ⋅ ∂ l ∂ z ′ + w 4 ⋅ ∂ l ∂ z ′ ′ ] \frac{\partial l}{\partial z} = \frac{\partial a}{\partial z} \cdot \frac{\partial l}{\partial a} = \sigma'(z) \left[ w_3 \cdot \frac{\partial l}{\partial z'} + w_4 \cdot \frac{\partial l}{\partial z''} \right] ∂z∂l=∂z∂a⋅∂a∂l=σ′(z)[w3⋅∂z′∂l+w4⋅∂z′′∂l]

将正向传播和反向传播的结果相乘,得到L对w的偏微分。

与正向传播比较

  • 反向传播需要更多的内存,但效率更高。
  • 无需像正向传播那样每次计算微分时都要重新计算后续的结果,减少了栈空间的使用。

全连接反馈网络

  • 每一层的神经元输出全部进入下一层的输入。

4. 为什么深,而不是宽(模块化)

更深的网络:它的模型更加复杂,但这种复杂性是模块化的。

核心

  • 将复杂的问题分解为多个简单的问题。每一层的神经元处理相同级别的任务,其输出作为更高层次任务的数据来源。

好处

  • 每一层的输出都可以被深层的神经元重复利用,避免像浅层网络那样每次都重新计算,提高效率。
  • 深层的隐藏层能够更详细地提取特征,提取后的特征能更好地进行分类,且比人为指定的特征更接近最优解。
  • 每个基本分类器能够获得足够的训练示例,相比于平铺网络,较少的数据就能训练好。

  • 深度/平铺网络的参数量是一样的,复杂性指的是网络结构,而不是参数数量。

5. 初始化参数能否全为0?

  • 同一层的神经元是同构的,具有相同的输入和输出。如果初始参数设置为相同值,无论正向还是反向传播,它们的取值都会一样,导致学习过程无法打破对称性,最终训练结果会使同一层的参数都相同。
  • 因此,应该在初始化时随机赋值,以打破这种对称性。
相关推荐
酌沧16 分钟前
AI做美观PPT:3步流程+工具测评+避坑指南
人工智能·powerpoint
狂师21 分钟前
啥是AI Agent!2025年值得推荐入坑AI Agent的五大工具框架!(新手科普篇)
人工智能·后端·程序员
星辰大海的精灵23 分钟前
使用Docker和Kubernetes部署机器学习模型
人工智能·后端·架构
victory043125 分钟前
SpiceMix enables integrative single-cell spatial modeling of cell identity 文章解读
人工智能·深度学习
新智元29 分钟前
半数清华,8 位华人 AI 天团集体投奔 Meta!奥特曼:砸钱抢人不如培养死忠
人工智能·openai
新智元32 分钟前
全球顶尖 CS 论文惊爆 AI「好评密令」!哥大等 14 所高校卷入,学术圈炸锅
人工智能·openai
l0sgAi37 分钟前
vLLM在RTX50系显卡上部署大模型-使用wsl2
linux·人工智能
DDliu37 分钟前
花半个月死磕提示词后,我发现:真正值钱的不是模板,是这套可复用的结构化思维
人工智能
腾讯云开发者37 分钟前
AI 浪潮下的锚与帆:工程师文化的变与不变 | 架构师夜生活
人工智能
JoernLee38 分钟前
机器学习算法:支持向量机SVM
人工智能·算法·机器学习