人工神经网络（ Artificial Neural Network， 简写为ANN ）也简称为神经网络（NN），是一种模仿生物神经网络结构和功能的计算模型 。人脑可以看做是一个生物神经网络，由众多的神经元 连接而成。各个神经元传递复杂的电信号，树突接收到输入信号 ，然后对信号进行处理，通过轴突输出信号。下图是生物神经元示意图：
当电信号通过树突进入到细胞核时，会逐渐聚集电荷。达到一定的电位后，细胞就会被激活，通过轴突发出电信号。
那怎么构建人工神经网络中的神经元呢？
这个过程就像，来源不同树突(树突都会有不同的权重)的信息, 进行的加权计算, 输入到细胞中做加和，再通过激活函数输出细胞值。
接下来，我们使用多个神经元来构建神经网络，相邻层之间的神经元相互连接，并给每一个连接分配一个强度，如下图所示：
神经网络中信息只向一个方向移动，即从输入节点向前移动，通过隐藏节点，再向输出节点移动。其中的基本部分是：
- 输入层：即输入 x 的那一层
- 输出层：即输出 y 的那一层
- 隐藏层：输入层和输出层之间都是隐藏层
特点是：
- 同一层的神经元之间没有连接。
- 第 N 层的每个神经元和第 N-1层 的所有神经元相连（这就是full connected的含义)，这就是全连接神经网络。
- 第N-1层神经元的输出就是第N层神经元的输入。
- 每个连接都有一个权重值（w系数和b系数）。