神经网络基础

神经网络

1.神经网络基础

1.1线性函数

x为图像,W为权重值,f输出对于该图像的得分值

以图片(图像以3232 3=3072为例)分类(10类)为例:

f值(101)就是对一张图像的类别打分值;
W(10
3072)包含对3072个像素点每一点的权重值;

x(30721)图像的列向量;
b(10
1)每一个类别的偏移量(感觉像消除误差的)

以3类图像,图像为2*2的为例

1.2损失函数

结果的得分值可以指出模型的当前效果,有多好或是多差!

损失函数Li (越小越好,越大表示分类效果越差)中sj 为该图像在其他类别中的得分值,syi 为该图像在自己类别中的打分;其中+1是为了防止得分比较近的时候,使得误判损失为0(如:第一幅图打分为3.2,3.15,-1.7,则计算cat和car之间的损失时,不加1,输出为0,表示两者无误差,但实际是不对的),也就是让正确类别比错误类别高于1以上才无损失。


R(W)为所有权重阵的平方和,λ惩罚系数,越大表示不希望过拟合,削减奇异值,越小表示削减程度小点。

1.3激活函数

使得得分值的范围归到0-1之间

第一列为类别的得分值;第二列为exp(得分);第三列为归一化(第二列每个值都除以所有的求和值),最后求-log(越接近0表示损失越小,分类越好)

1.4前向传播





1.5反向传播

链式求导法则

图中,绿色表示相应的输入量,红色表示链式求导的逆向输出值(如:1/x的导数为-1/x2 ,x=1.37,输出为下面的-0.53)

该图表示:加法的导数都为1,MAX的导数是输入最大的变量导数为整个输出;

乘法导数互换。

1.6整体框架


隐藏层:对输入的每个数据都附上权重值(几个圆(神经元)代表有多少种 权重)。

每一隐藏层后都进行非线性变化(激活函数,如sigmoid,max)。

神经元越多过拟合程度也越大,效果可能越好,但速度越慢
斯坦福大学可视化神经网络训练

惩罚力度越大过拟合效果越弱。

隐藏层神经元一般为64,128,256,512。可见神经元数目越多过拟合越大


sigmoid函数当自变量过大会出现梯度消失,变为0.

1.7数据预处理


形成权重矩阵(D*H的矩阵)

在每一层中随机选取少量神经元参与计算,以此避免过拟合。
总结:

输入数据经过预处理,*W1------>激活函数...*Wn------>激活函数,输出。

之后计算损失函数,通过反向传播对每一个参数进行求导,以修正参数值。

2.卷积神经网络(CNN)

输入不再是列向量,而直接是一张图像

2.1卷积

三通道图像:每一通道都进行卷积,之后相加。

有多个卷积核就会输出几层特征图。(图中bias表示w*x+b中的b偏移量)





2.2池化层

降低特征图的大小,也称压缩或下采样

在每个区域选择最大的值,只将特征图中重要的特征提取出来。

上图为一个七层的卷积神经网络(只有带参数计算的才算一层:6个卷积+1个全连接层FC),在最后的池化和FC之间还有一步将三维的特征块,转化成列/行向量(即下图中转换)。

2.3感受野

图中表示:input经过一次卷积,输出为粉色区域,第二次卷积输出为一个粉色格。

所需参数个数:77 C中C表示输入为C层,C*(77C)左侧C表示需要C个卷积核。右同。

2.4Resnet

对于层数越多效果反而不好的,采取Resnet残差网络。

即,在本来流程中的每一层(经卷积)中都加入一个直接连接到下一层的线路,保证当网络经过训练后,本层中权重参数不适合时,去掉后不影响之后的网络(保证不会比层数少的时候效果差)。

3.循环(递归)神经网络


h表示每个时刻的结果,即当前隐藏状态,作为下一时刻的输入。

3.1 LSTM






3.2自然语言处理(NLP)-词向量模型(Word2Vec)

即对每一个特征进行打分[-1,1],最后形成向量形式。






4.对抗生成网络(GAN)



参考资料:神经网络入门到实战

相关推荐
Dm_dotnet24 分钟前
AI工具推荐:使用AnythingLLM帮助你学习
人工智能
钡铼技术物联网关44 分钟前
ARM架构+CODESYS:解锁嵌入式边缘计算的实时控制新范式
大数据·linux·arm开发·人工智能·边缘计算
小柚净静1 小时前
什么是边缘计算?
人工智能·边缘计算
说私域1 小时前
数字化转型中的开源AI智能客服与S2B2C商城小程序的融合创新
人工智能·小程序·开源·零售
五号厂房1 小时前
OpenManus源码剖析-探索智能体框架的设计与实现
人工智能
飞哥数智坊1 小时前
Claude3.7秒出架构图,你再不用就真的Out了
人工智能·claude
zidea1 小时前
我和我的 AI Agent(3)记忆模块设计上花了不少心思,看看记忆细胞和记忆片段是如何设计以及实现的
人工智能·python·deepseek
深度学习机器1 小时前
SmolDocling-256M:极小参数量的视觉语言模型|端到端文档解析方案的另一种思路
人工智能·产品·全栈
陈奕昆1 小时前
微软2025年AI技术深度解析:从多模态大模型到企业级代理服务
人工智能·microsoft
青花瓷2 小时前
VSCode中结合DeepSeek使用Cline插件的感受
ide·人工智能·vscode·大模型·编辑器·deepseek