文章目录
-
- 一、什么是深度学习？
- 二、神经网络基础
-
- [1. 神经元与权重](#1. 神经元与权重)
- [2. 激活函数](#2. 激活函数)
- 三、从感知器到多层感知器
-
- [1. 感知器（Perceptron）](#1. 感知器（Perceptron）)
- [2. 多层感知器（MLP）](#2. 多层感知器（MLP）)
- 四、神经网络的训练方法
-
- [1. 损失函数](#1. 损失函数)
- [2. 梯度下降](#2. 梯度下降)
- [3. 反向传播（Backpropagation，BP）](#3. 反向传播（Backpropagation，BP）)
- 五、正则化与优化
-
- [1. 正则化惩罚](#1. 正则化惩罚)
- [2. 学习率与初始化](#2. 学习率与初始化)
一、什么是深度学习？
深度学习（Deep Learning，DL）是机器学习（Machine Learning，ML）领域中的一个重要分支，它基于人工神经网络的结构，模拟人脑处理信息的方式，通过多层次的数据表征和学习机制，实现对复杂数据的高效建模与识别。深度学习在图像识别、语音处理、自然语言理解等领域表现卓越，已成为推动人工智能发展的核心力量。
二、神经网络基础
1. 神经元与权重
神经网络由大量相互连接的"神经元"组成。每个神经元接收来自其他神经元的输入信号，这些信号在传递过程中会乘以一个权重，表示该连接的重要性。
输入信号： x 1 , x 2 , ... , x n \text{输入信号}：x_1, x_2, \dots, x_n 输入信号：x1,x2,...,xn
权重： w 1 , w 2 , ... , w n \text{权重}：w_1, w_2, \dots, w_n 权重：w1,w2,...,wn
加权和： z = w 1 x 1 + w 2 x 2 + ⋯ + w n x n + b \text{加权和}：z = w_1x_1 + w_2x_2 + \dots + w_nx_n + b 加权和：z=w1x1+w2x2+⋯+wnxn+b
其中 b b b 为偏置项。
2. 激活函数
为了引入非线性能力，神经网络在加权和后会通过一个激活函数，如 Sigmoid、ReLU 等：
σ ( z ) = 1 1 + e − z \sigma(z) = \frac{1}{1 + e^{-z}} σ(z)=1+e−z1
三、从感知器到多层感知器
1. 感知器（Perceptron）
感知器是最简单的神经网络结构，仅包含输入层和输出层，可用于线性分类问题。其计算过程可表示为矩阵运算：
g ( W ⋅ x ) = z g(W \cdot x) = z g(W⋅x)=z
2. 多层感知器（MLP）
通过引入隐藏层，多层感知器能够处理非线性分类问题。隐藏层的神经元数量通常根据经验设定，可通过试验选择最佳结构。
关键点：
- 输入层节点数 = 特征维度
- 输出层节点数 = 目标维度
- 隐藏层节点数需通过实验调优
四、神经网络的训练方法
1. 损失函数
训练的目标是最小化预测值与真实值之间的误差，常用损失函数包括：
- 均方误差（MSE）
- 交叉熵损失（Cross-Entropy）
- 合页损失（Hinge Loss）
2. 梯度下降
通过计算损失函数对权重的偏导数（梯度），沿梯度反方向更新权重，逐步逼近最优解：
w new = w old − η ⋅ ∂ L ∂ w w_{\text{new}} = w_{\text{old}} - \eta \cdot \frac{\partial L}{\partial w} wnew=wold−η⋅∂w∂L
其中 η \eta η 为学习率。
3. 反向传播（Backpropagation，BP）
反向传播是训练深度网络的核心算法：
- 前向传播计算输出
- 计算损失值
- 反向传播误差，逐层更新权重
- 重复迭代直至收敛
五、正则化与优化
1. 正则化惩罚
为防止过拟合，常对权重施加正则化约束：
- L1正则化 ： ∑ ∣ w i ∣ \sum |w_i| ∑∣wi∣
- L2正则化 ： ∑ w i 2 \sum w_i^2 ∑wi2
2. 学习率与初始化
- 学习率过大易震荡，过小则收敛慢
- 权重初始值常采用随机初始化，避免对称性