深度学习算法清单

[1. 神经网络必备基础知识点](#1. 神经网络必备基础知识点)

[2. 神经网络前向传播与反向传播](#2. 神经网络前向传播与反向传播)

[3. 网络模型整体架构分析实例](#3. 网络模型整体架构分析实例)

[4. 神经网络建模效果分析](#4. 神经网络建模效果分析)

[5. 激活函数与过拟合问题解决](#5. 激活函数与过拟合问题解决)

[6. 卷积神经网络核心知识点](#6. 卷积神经网络核心知识点)

[7. 卷积建模流程与各参数作用分析](#7. 卷积建模流程与各参数作用分析)

[8. 池化层的作用与效果](#8. 池化层的作用与效果)

[9. 经典卷积神经网络架构分析](#9. 经典卷积神经网络架构分析)

[10. 感受野的作用与效果解读](#10. 感受野的作用与效果解读)

[11. 递归神经网络模型原理分析](#11. 递归神经网络模型原理分析)

[12. RNN系列网络结构优缺点分析](#12. RNN系列网络结构优缺点分析)

[13. 词向量模型与LSTM应用实例](#13. 词向量模型与LSTM应用实例)

神经元模型
- 模拟生物神经元，输入信号加权求和后通过激活函数输出。
- 数学表达：，（如Sigmoid、ReLU）。
网络结构
- 输入层：接收原始数据（如像素值、文本向量）。
- 隐藏层：负责特征提取和变换（层数越多，非线性能力越强）。
- 输出层：生成最终结果（分类概率、回归值等）。
权重与偏置
- 权重决定特征重要性，偏置调整输出阈值。
损失函数
- 衡量预测值与真实值的差距（如交叉熵损失、均方误差）。

前向传播
- 输入数据逐层计算至输出：。
反向传播
- 链式法则：从输出层到输入层逐层计算梯度。
- 梯度计算 ：通过损失函数对权重求导
- 参数更新 ：使用优化器（如SGD、Adam）调整权重：

以LeNet-5为例
- 输入层：32×32灰度图像。
- 卷积层：提取边缘、纹理等低级特征。
- 池化层：降低空间维度（如最大池化）。
- 全连接层：整合全局信息进行分类。
- 输出层：Softmax生成类别概率。
设计原则
- 特征抽象层级递进（低级→高级）。
- 参数量与计算效率的平衡。

评价指标
- 分类任务：准确率、精确率、召回率、F1值。
- 回归任务：均方误差（MSE）、平均绝对误差（MAE）。
训练状态诊断
- 欠拟合：训练集和测试集表现均差（模型简单或训练不足）。
- 过拟合：训练集准确率高，测试集差（模型复杂或数据噪声多）。
解决方案
- 欠拟合：增加网络深度、使用更复杂模型。
- 过拟合：正则化（L1/L2）、数据增强、早停法。

激活函数
- Sigmoid：输出0~1，易导致梯度消失。
- ReLU ：缓解梯度消失，计算高效（）。
- Softmax：多分类输出归一化概率。
过拟合解决策略
- Dropout：随机屏蔽神经元，强制网络学习冗余特征。
- 正则化：L1（稀疏权重）、L2（限制权重幅度）。
- 数据增强：旋转、裁剪图像，添加噪声等。

卷积层
- 滤波器（Kernel）：滑动窗口提取局部特征（如边缘检测）。
- 参数共享：同一滤波器在不同位置复用，减少参数量。
- 输出尺寸计算 ：（N输入尺寸，K滤波器尺寸，P填充，S步长）。
通道（Channel）
- 输入通道数（如RGB图像的3通道）。
- 输出通道数对应不同滤波器的数量。

建模流程
1. 输入数据预处理（归一化、标准化）。
2. 交替堆叠卷积层和池化层。
3. 全连接层整合特征，输出结果。
参数作用
- 滤波器尺寸：3×3（常用）、5×5（捕捉更大区域）。
- 步长（Stride）：控制滑动步幅（步长越大，输出越小）。
- 填充（Padding）：保持输出尺寸不变（如Same Padding）。

词向量模型（Word2Vec）
- Skip-Gram：通过中心词预测上下文。
- CBOW：通过上下文预测中心词。
LSTM应用实例（文本分类）
1. 输入层：词向量序列（如300维）。
2. LSTM层：捕捉上下文依赖。
3. 全连接层：输出类别概率。
4. 优化：使用交叉熵损失和Adam优化器。