1.神经网络特征
无需人去告知神经网络具体的特征是什么，神经网络可以自主学习
2.激活函数性质
（1）连续并可导（允许少数点不可导）的非线性函数
（2）单调递增
（3）函数本身及其导函数要尽可能的简单
（4）导函数的值域要在合适的范围内
3.常用激活函数
（1）sigma函数
（2）tanh函数
sigma和tanh均为饱和函数，且sigma函数存在特征变量之间只能向同一方向迭代（非负）导致迭代速度慢，且二者均可能由于层数过多在反向传播时出现梯度消失的现象（导函数的取值在0-1之间）
（3）ReLU函数
ReLU变体
（4）LeakyRuLU函数
（5）PReLU函数
ReLU及其变体激活函数也被称为斜坡函数，可以有效避免梯度消失问题和迭代次数过多问题，最激活函数最常用的就是ReLU函数
4.前馈神经网络结构
输入层----隐藏层----输出层
各神经元分别属于不同的层，层内无连接；相邻两层之间的神经元全部两两相连（单向）；整个网络中无反馈，信号从输入层向输出层单向传播，可用一个有向无环图表示
5.前向传播
从输入层向输出层信息传播的算法
6.反向传播
从输出层向输入层信息传播的算法
7.梯度消失&梯度爆炸
均发生在反向传播算法当中，链式法则存在连乘效应，如果梯度处于0-1或大于1时，当层数足够大时，容易出现0和无穷的现象导致梯度消失和爆炸
解决思路：
