目录
[1. 从感知机到神经网络](#1. 从感知机到神经网络)
[1.1 区别](#1.1 区别)
[1.2 定义](#1.2 定义)
[2. 最简单的神经网络](#2. 最简单的神经网络)
[2.1 层神经网络](#2.1 层神经网络)
[2.2 数学表达式](#2.2 数学表达式)
[3. 激活函数的引入](#3. 激活函数的引入)
1. 从感知机到神经网络
1.1 区别
之前章节我们了解了感知机，感知机可以处理与门、非与门、或门、异或门等逻辑运算；不过在感知机中设定权重的工作是由人工来做的，而设定合适的，符合预期的输入与输出的权重，是一项非常繁重的工作。神经网络就是为了实现这一工作，它的一个重要性质就是可以自动的从数据中学到合适的权重参数。
1.2 定义
神经网络又叫人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。
2. 最简单的神经网络
2.1 3 层神经网络
从下图可以看到，最左边的即输入层， 0 层；最右边的即输出层，2 层；中间的即中间层，中间层又叫隐藏层，1 层。其中只有输入层、中间层具有权重，可以称之为 2 层网络，也可以按照网络的级数称之为 3 层网络。这个图看起来和感知机没啥区别。
2.2 数学表达式
我们回想一下感知机：
可以用数学式来表示上图的感知机
这个数学式可以进行改写，
把输入信号的总和 (b+w1*x1+w2*x2) 设置为 x，则相当于
此时 h(x) 函数会将输入信号的总和转换为输出信号，这种函数就称之为激活函数（activation function）。
3. 激活函数的引入
有了激活函数的引入，原来的感知机图，就可以转换为神经元图。激活函数是连接感知机和神经网络的桥梁。
请注意，此处激活函数以阈值为界，一旦输入超过阈值，就切换输出，这样的函数称之为"阶跃函数"。感知机是选择了阶跃函数，如果感知机选择了其他函数作为激活函数，那么就进入了神经网络的世界了！
请大家注意，激活函数的不同，是感知机和神经网络的根本差异。
