神经网络基础

神经网络

1.神经网络基础

1.1线性函数

x为图像,W为权重值,f输出对于该图像的得分值

以图片(图像以3232 3=3072为例)分类(10类)为例:

f值(101)就是对一张图像的类别打分值;
W(10
3072)包含对3072个像素点每一点的权重值;

x(30721)图像的列向量;
b(10
1)每一个类别的偏移量(感觉像消除误差的)

以3类图像,图像为2*2的为例

1.2损失函数

结果的得分值可以指出模型的当前效果,有多好或是多差!

损失函数Li (越小越好,越大表示分类效果越差)中sj 为该图像在其他类别中的得分值,syi 为该图像在自己类别中的打分;其中+1是为了防止得分比较近的时候,使得误判损失为0(如:第一幅图打分为3.2,3.15,-1.7,则计算cat和car之间的损失时,不加1,输出为0,表示两者无误差,但实际是不对的),也就是让正确类别比错误类别高于1以上才无损失。


R(W)为所有权重阵的平方和,λ惩罚系数,越大表示不希望过拟合,削减奇异值,越小表示削减程度小点。

1.3激活函数

使得得分值的范围归到0-1之间

第一列为类别的得分值;第二列为exp(得分);第三列为归一化(第二列每个值都除以所有的求和值),最后求-log(越接近0表示损失越小,分类越好)

1.4前向传播





1.5反向传播

链式求导法则

图中,绿色表示相应的输入量,红色表示链式求导的逆向输出值(如:1/x的导数为-1/x2 ,x=1.37,输出为下面的-0.53)

该图表示:加法的导数都为1,MAX的导数是输入最大的变量导数为整个输出;

乘法导数互换。

1.6整体框架


隐藏层:对输入的每个数据都附上权重值(几个圆(神经元)代表有多少种 权重)。

每一隐藏层后都进行非线性变化(激活函数,如sigmoid,max)。

神经元越多过拟合程度也越大,效果可能越好,但速度越慢
斯坦福大学可视化神经网络训练

惩罚力度越大过拟合效果越弱。

隐藏层神经元一般为64,128,256,512。可见神经元数目越多过拟合越大


sigmoid函数当自变量过大会出现梯度消失,变为0.

1.7数据预处理


形成权重矩阵(D*H的矩阵)

在每一层中随机选取少量神经元参与计算,以此避免过拟合。
总结:

输入数据经过预处理,*W1------>激活函数...*Wn------>激活函数,输出。

之后计算损失函数,通过反向传播对每一个参数进行求导,以修正参数值。

2.卷积神经网络(CNN)

输入不再是列向量,而直接是一张图像

2.1卷积

三通道图像:每一通道都进行卷积,之后相加。

有多个卷积核就会输出几层特征图。(图中bias表示w*x+b中的b偏移量)





2.2池化层

降低特征图的大小,也称压缩或下采样

在每个区域选择最大的值,只将特征图中重要的特征提取出来。

上图为一个七层的卷积神经网络(只有带参数计算的才算一层:6个卷积+1个全连接层FC),在最后的池化和FC之间还有一步将三维的特征块,转化成列/行向量(即下图中转换)。

2.3感受野

图中表示:input经过一次卷积,输出为粉色区域,第二次卷积输出为一个粉色格。

所需参数个数:77 C中C表示输入为C层,C*(77C)左侧C表示需要C个卷积核。右同。

2.4Resnet

对于层数越多效果反而不好的,采取Resnet残差网络。

即,在本来流程中的每一层(经卷积)中都加入一个直接连接到下一层的线路,保证当网络经过训练后,本层中权重参数不适合时,去掉后不影响之后的网络(保证不会比层数少的时候效果差)。

3.循环(递归)神经网络


h表示每个时刻的结果,即当前隐藏状态,作为下一时刻的输入。

3.1 LSTM






3.2自然语言处理(NLP)-词向量模型(Word2Vec)

即对每一个特征进行打分[-1,1],最后形成向量形式。






4.对抗生成网络(GAN)



参考资料:神经网络入门到实战

相关推荐
达柳斯·绍达华·宁18 分钟前
自动驾驶04:点云预处理03
人工智能·机器学习·自动驾驶
wgc2k21 分钟前
吴恩达深度学习复盘(4)神经网络的前向传播
人工智能·深度学习
屎派克22 分钟前
神经网络知识
人工智能·深度学习·神经网络
补三补四42 分钟前
k近邻算法K-Nearest Neighbors(KNN)
人工智能·机器学习
AI绘画月月44 分钟前
AI绘画 | Stable Diffusion 图片背景完美替换
图像处理·人工智能·计算机视觉·ai作画·stable diffusion·midjourney·sd
阿里云大数据AI技术1 小时前
阿里云 AI 搜索开放平台新发布:增加 QwQ 模型
人工智能·云计算
Toky丶1 小时前
【文献阅读】Vision-Language Models for Vision Tasks: A Survey
人工智能·语言模型·自然语言处理
小白狮ww1 小时前
Retinex 算法 + MATLAB 软件,高效率完成图像去雾处理
开发语言·人工智能·算法·matlab·自然语言处理·图像识别·去雾处理
掘金安东尼1 小时前
用 Python 搭桥,Slack 上跑起来的 MCP 数字员工
人工智能·面试·github