pytorch搭建并训练神经网络

#从小白开始学习人工智能# #学习笔记#

工具:pytorch

一、基础概念

1.神经网络是什么?

神经网络是人类受到生物神经细胞结构启发而研究出的算法体系。又称为人工神经网络(Artificial neural network)

最简版神经网络结构图:

通俗来说,是由神经元首尾相接形成的类似网络的结构来协同计算,这个算法体系称为神经网络

输入层:在网络的最前端,直接接受输入的向量,通常不计层数

隐藏层:可以有多层,在比较深的神经网络中,可达到上百层

输出层:最后一层,用来输出计算结果,可以是某个类型值或者向量

2.神经元的结构是什么样的?

上图是一个最简单的神经元,有一个输入X或者3个输入X矩阵,一个输出,中间是参数部分,圆圈的部分表示进行某种运算。运算一般分为两个部分组成,线性部分函数 f(x) = wx+b,x是一个n*1的矩阵(n维列向量),w是1*n的权重矩阵,b是偏置项。另一个运算部分是激活函数,是跟随f(x)=wx+b之后加入的非线性因素(比如房价与面积就不止是线性关系,还有楼层、房间朝向等非线性因素),激活函数在神经元线性模型后,表示如下图红色部分,加入了激活函数后,叠加之后的神经网络理论上就可以构成任意复杂的函数从而解决一些复杂问题。

神经网络常用的三种激活函数(也叫作激励函数):

sigmoid: 将线性模型计算结果投射到0~1之间

TanH : 将线性模型计算结果投射到-1~1之间

ReLU : 将线性模型结果小于0的部分投射为0,大于0的部分投射为计算结果本身

训练神经网络的过程,也就是我们得到精度极高的w和b的过程,通过大量的数据演算推导,获得精度极高的w和b的值,从而确定f(x),这样就能用确定的f(x)来预测新的数据是什么标签类型

损失函数:训练神经网络的一开始,会初始化w与b参数,那么计算出来的结果f'(x)与真实的结果f(x) 中间的差距,就是损失函数计算出的来标签和真实数据标签的差距,通常把这个函数叫做损失函数Loss。我们训练神经网络的最终目的,是找到合适的w和b,那么这个损失函数足够小的情况下,就代表神经网络计算的结果与真实结果差距足够小,也就说明w和b越可靠。

神经元通过神经网络结构进行数据传递,数据经过前一个神经元的计算,输出给下一个神经元作为输入,因为前一个神经元节点连接了下一层的所有节点,因此这种前后层相互连接的网络也叫"全连接神经网络"

二、神经网络的工作过程

前向传播(forward)

反向传播(backward)

训练神经网络

三、神经网络构建和训练流程

  • 数据预处理
  • 构建模型
  • 定制模型损失函数和优化器
  • 训练并观察超参数

四、应用场景

待补充

五、拓展

待补充

相关推荐
舒一笑21 分钟前
Building effective agents 建立有效的agents
人工智能
知秋丶41 分钟前
大模型应用发展与Agent前沿技术趋势(下)
人工智能·python·ai agent
智驱力人工智能1 小时前
安全帽检测算法如何提升工地安全管理效率
人工智能·算法·安全·边缘计算·安全帽检测·口罩检测·安全鞋检测
即兴小索奇1 小时前
AI适老服务暖人心:AI适老机顶盒破数字鸿沟、毫米波雷达护独居安全,银发生活新保障
人工智能·ai·语音识别·商业·ai商业洞察·即兴小索奇
riveting1 小时前
技术突破引领应用革新:RK3506 开发板的嵌入式革命
人工智能·物联网·制造·明远智睿·rk3506
Lntano__y1 小时前
详细分析大语言模型attention的计算复杂度,从数学角度分析
人工智能·语言模型·自然语言处理
法迪2 小时前
【学习】Linux 内核中的 cgroup freezer 子系统
人工智能·opencv·计算机视觉
魔乐社区2 小时前
OpenAI重新开源!gpt-oss-20b适配昇腾并上线魔乐社区
人工智能·gpt·深度学习·开源·大模型
用户5191495848452 小时前
WordPress开放嵌入自动发现功能中的XSS漏洞分析
人工智能·aigc
失散133 小时前
自然语言处理——03 RNN及其变体
人工智能·rnn·自然语言处理·gru·lstm