神经网络分类
神经网络分类
人工神经网络
人工神经网络主要由大量的神经元以及它们之间的有向连接构成。包含三个方面：
- 神经元的激活规则
- 主要是指神经元输入到输出之间的映射关系，一般为非线性函数
- 网络的拓扑结构
- 不同神经元之间的连接关系。
- 学习算法
- 通过训练数据来学习神经网络的参数。
多层人工神经网络
人工神经网络比感知机模型复杂
输入层和输出层之间包含隐藏层
激活函数可以是多种函数
比较常见的有ReLU和Logistic函数
误差反向传播（BP）网络
激活函数
- 必须处处可导
- 一般都使用S型函数
使用S型激活函数时BP网络输入与输出关系
学习的类型：监督式学习
核心思想：
将输出误差以某种形式 通过隐层向输入层逐层反传
学习的过程：
- 信号的正向传播
- 误差的反向传播
后向传播算法
初始化权重：循环以下两步，直到满足条件
- 向前传播输入
在每个节点加权求和，再代入激活函数
- 向后传播误差
后向传播BP网络注意事项：
初始值选择
- 权值向量以及阀值的初始值应设定在一均匀分布的小范围内
- 初始值不能为零 ，否则性能曲面会趋向于鞍点
- 初始值不能太大，否则远离优化点，导致性能曲面平坦，学习率很慢
训练样本输入次序
- 不同，也会造成不一样的学习结果
- 在每一次的学习循环中，输入向量输入网络的次序应使其不同
BP算法的学习过程的终止条件
- 权值向量的梯度 < 给定值
- 均方误差值 < 给定误差容限值
- 若其推广能力达到目标则予终止
- 可以结合上述各种方式