目录
一:深度学习的概念
深度学习是机器学习的分支,是一种以人工神经网络为架构,对数据进行特征学习的算法
二:机器学习和深度学习的区别
1.特征提取:
1.机器学习需要人工的特征提取过程,而深度学习没有这个过程,在深度学习中这个过程是通过深度神经网络自动完成的
2.深度学习相比与机器学习需要更多的训练数据,需要大量的算力
三:深度学习的应用场景
1.图像识别
比如日常生活中我们看到的物体识别,场景识别,人脸识别
2.自然语言处理技术
比如机器翻译,文本识别,聊天对话,比如现在很火的IA情侣
3.语音技术
语音识别,比如语音转文字
四:神经网络的介绍
1.人工神经网络的概念
人工神经网络(Artificial Neural Network,ANN ),简称为神经网络(Neural Network,NN )或类神经网络,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型,用于对函数进行估计和近似。和其他机器学习方法一样,神经网络已经被用于解决各种各样的问题,例如机器视觉和语音识别,这些问题都说很难被传统基于规则的编程所解决的
2.神经元的概念
在生物系统中,每个神经元与其他神经元相连,当它"兴奋"时,就会向相连的神经元发送化学物质,从而改变这些神经元内的电位。如果当某个神经元的电位超过"阈值",那么它就会被激活,也就是"兴奋"起来,向其他神经元发送化学物质
其中a1,a2,an为输入值
w1,w2,wn是各个值对应的权重
b为偏置
f为激活函数
t为神经元的输出
用数学公式表示就是:
简单来说这个过程就是:求出输入值和权重的内积后,经过一个激活函数得到输出
3.单层神经网络
是最基本的神经元形式,由有限个神经元构成,所有神经元的输入向量都是同一个向量,由于每一个神经元都会产生一个标量的结果,所以单层神经元的输出是一个向量,向量的维度等于神经元的数目
4.感知机
感知机由两层神经网络组成,输入层接收外界输入信号后传递给输出层。
感知机是把一个n维向量空间用一个超平面分割成两部分,给定一个输入向量,超平面可以判断出这个向量位于超平面的那一边,得到输入是正类还是反类。
5.多层神经网络
多层神经网络是又单层神经网络进行叠加之后得到的,所以就形成了层的概念。常见的多层神经网络又如下结构:
输入层:众多神经元接收大量的输入数据,输入的数据称为输入向量
输出层:消息在神经元链接中传输,分析,权衡,形成输出结果,输入的消息称为输出向量。
隐藏层:是输入层和输出层之间的众多神经元和链接组成的各个层面。隐层可以又一层或多层。隐层的节点(神经元)数目不定,但数目越多神经网络的非线性越明显,从而神经网络的强健性更明显
6.全连接层:
全连接层:当这一层和前一层每一个神经元相互链接,我们称这一层维全连接层
7.激活函数
简单又残暴的来说激活函数就是将直线变为曲线的函数,它的作用就是增加模型的非线性分割能力,常见的有:
sigmoid只会输出正数,以及靠近0的输出变化率最大
tanh和sigmoid不同的是,tanh输出可以是负数
Relu是输入只能大于0,如果输入的只有负数,那么Relu不适合,Relu一般用于图片格式,因为图片的像素作为输入时取值维[0,255]
激活函数除了增加模型的非线性分割能力外,还有:提高模型的鲁棒性,缓解梯度消失问题,加速模型收敛等