深度学习与神经网络介绍

人工神经网络（Artificial Neural Network，ANN ），简称为神经网络（Neural Network，NN ）或类神经网络，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型，用于对函数进行估计和近似。和其他机器学习方法一样，神经网络已经被用于解决各种各样的问题，例如机器视觉和语音识别，这些问题都说很难被传统基于规则的编程所解决的

2.神经元的概念

在生物系统中，每个神经元与其他神经元相连，当它"兴奋"时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位。如果当某个神经元的电位超过"阈值"，那么它就会被激活，也就是"兴奋"起来，向其他神经元发送化学物质

其中a1,a2,an为输入值

w1,w2,wn是各个值对应的权重

b为偏置

f为激活函数

t为神经元的输出

用数学公式表示就是：

简单来说这个过程就是：求出输入值和权重的内积后，经过一个激活函数得到输出

3.单层神经网络

是最基本的神经元形式，由有限个神经元构成，所有神经元的输入向量都是同一个向量，由于每一个神经元都会产生一个标量的结果，所以单层神经元的输出是一个向量，向量的维度等于神经元的数目

4.感知机

感知机由两层神经网络组成，输入层接收外界输入信号后传递给输出层。

感知机是把一个n维向量空间用一个超平面分割成两部分，给定一个输入向量，超平面可以判断出这个向量位于超平面的那一边，得到输入是正类还是反类。

5.多层神经网络

多层神经网络是又单层神经网络进行叠加之后得到的，所以就形成了层的概念。常见的多层神经网络又如下结构：

输入层：众多神经元接收大量的输入数据，输入的数据称为输入向量

输出层：消息在神经元链接中传输，分析，权衡，形成输出结果，输入的消息称为输出向量。

隐藏层：是输入层和输出层之间的众多神经元和链接组成的各个层面。隐层可以又一层或多层。隐层的节点(神经元)数目不定，但数目越多神经网络的非线性越明显，从而神经网络的强健性更明显

6.全连接层：

全连接层：当这一层和前一层每一个神经元相互链接，我们称这一层维全连接层

7.激活函数

简单又残暴的来说激活函数就是将直线变为曲线的函数，它的作用就是增加模型的非线性分割能力，常见的有：

sigmoid只会输出正数，以及靠近0的输出变化率最大

tanh和sigmoid不同的是，tanh输出可以是负数

Relu是输入只能大于0，如果输入的只有负数，那么Relu不适合，Relu一般用于图片格式，因为图片的像素作为输入时取值维[0，255]

激活函数除了增加模型的非线性分割能力外，还有：提高模型的鲁棒性，缓解梯度消失问题，加速模型收敛等

深度学习与神经网络介绍

一：深度学习的概念

二：机器学习和深度学习的区别

1.特征提取：

三：深度学习的应用场景

1.图像识别

2.自然语言处理技术

3.语音技术

四：神经网络的介绍

1.人工神经网络的概念