神经网络基础

神经网络

1.神经网络基础

1.1线性函数

x为图像,W为权重值,f输出对于该图像的得分值

以图片(图像以3232 3=3072为例)分类(10类)为例:

f值(101)就是对一张图像的类别打分值;
W(10
3072)包含对3072个像素点每一点的权重值;

x(30721)图像的列向量;
b(10
1)每一个类别的偏移量(感觉像消除误差的)

以3类图像,图像为2*2的为例

1.2损失函数

结果的得分值可以指出模型的当前效果,有多好或是多差!

损失函数Li (越小越好,越大表示分类效果越差)中sj 为该图像在其他类别中的得分值,syi 为该图像在自己类别中的打分;其中+1是为了防止得分比较近的时候,使得误判损失为0(如:第一幅图打分为3.2,3.15,-1.7,则计算cat和car之间的损失时,不加1,输出为0,表示两者无误差,但实际是不对的),也就是让正确类别比错误类别高于1以上才无损失。


R(W)为所有权重阵的平方和,λ惩罚系数,越大表示不希望过拟合,削减奇异值,越小表示削减程度小点。

1.3激活函数

使得得分值的范围归到0-1之间

第一列为类别的得分值;第二列为exp(得分);第三列为归一化(第二列每个值都除以所有的求和值),最后求-log(越接近0表示损失越小,分类越好)

1.4前向传播





1.5反向传播

链式求导法则

图中,绿色表示相应的输入量,红色表示链式求导的逆向输出值(如:1/x的导数为-1/x2 ,x=1.37,输出为下面的-0.53)

该图表示:加法的导数都为1,MAX的导数是输入最大的变量导数为整个输出;

乘法导数互换。

1.6整体框架


隐藏层:对输入的每个数据都附上权重值(几个圆(神经元)代表有多少种 权重)。

每一隐藏层后都进行非线性变化(激活函数,如sigmoid,max)。

神经元越多过拟合程度也越大,效果可能越好,但速度越慢
斯坦福大学可视化神经网络训练

惩罚力度越大过拟合效果越弱。

隐藏层神经元一般为64,128,256,512。可见神经元数目越多过拟合越大


sigmoid函数当自变量过大会出现梯度消失,变为0.

1.7数据预处理


形成权重矩阵(D*H的矩阵)

在每一层中随机选取少量神经元参与计算,以此避免过拟合。
总结:

输入数据经过预处理,*W1------>激活函数...*Wn------>激活函数,输出。

之后计算损失函数,通过反向传播对每一个参数进行求导,以修正参数值。

2.卷积神经网络(CNN)

输入不再是列向量,而直接是一张图像

2.1卷积

三通道图像:每一通道都进行卷积,之后相加。

有多个卷积核就会输出几层特征图。(图中bias表示w*x+b中的b偏移量)





2.2池化层

降低特征图的大小,也称压缩或下采样

在每个区域选择最大的值,只将特征图中重要的特征提取出来。

上图为一个七层的卷积神经网络(只有带参数计算的才算一层:6个卷积+1个全连接层FC),在最后的池化和FC之间还有一步将三维的特征块,转化成列/行向量(即下图中转换)。

2.3感受野

图中表示:input经过一次卷积,输出为粉色区域,第二次卷积输出为一个粉色格。

所需参数个数:77 C中C表示输入为C层,C*(77C)左侧C表示需要C个卷积核。右同。

2.4Resnet

对于层数越多效果反而不好的,采取Resnet残差网络。

即,在本来流程中的每一层(经卷积)中都加入一个直接连接到下一层的线路,保证当网络经过训练后,本层中权重参数不适合时,去掉后不影响之后的网络(保证不会比层数少的时候效果差)。

3.循环(递归)神经网络


h表示每个时刻的结果,即当前隐藏状态,作为下一时刻的输入。

3.1 LSTM






3.2自然语言处理(NLP)-词向量模型(Word2Vec)

即对每一个特征进行打分[-1,1],最后形成向量形式。






4.对抗生成网络(GAN)



参考资料:神经网络入门到实战

相关推荐
葡萄成熟时_1 分钟前
【第十三届“泰迪杯”数据挖掘挑战赛】【2025泰迪杯】【代码篇】A题解题全流程(持续更新)
人工智能·数据挖掘
机器之心15 分钟前
一篇论文,看见百度广告推荐系统在大模型时代的革新
人工智能
机器之心19 分钟前
视觉SSL终于追上了CLIP!Yann LeCun、谢赛宁等新作,逆转VQA任务固有认知
人工智能
赣州云智科技的技术铺子43 分钟前
【一步步开发AI运动APP】六、运动计时计数能调用
人工智能·程序员
东临碣石8244 分钟前
【AI论文】什么、如何、何处以及效果如何?大语言模型测试时缩放技术调研
人工智能
猪猪的超超1 小时前
从吉卜力漫画到艺术创造:GPT-4o多种风格绘图Prompt大全
人工智能·prompt·文生图·gpt-4o
带娃的IT创业者1 小时前
《AI大模型应知应会100篇》第7篇:Prompt Engineering基础:如何与大模型有效沟通
人工智能·prompt
网络研究院1 小时前
ChatGPT 的新图像生成器非常擅长伪造收据
网络·人工智能·安全·chatgpt·风险·技术·欺诈