深度学习03-神经网络01-什么是神经网络?

神经网络的基本概念

  1. 人工神经网络(Artificial Neural Network,ANN)

    • 是一种模仿生物神经网络的计算模型。由多个神经元(或称为节点)组成,这些节点通过不同的连接来传递信息。

    • 每个神经元可以接收来自其他神经元的信息,经过加权和激活函数的处理后,再将信息传递到下一个神经元。

神经元的结构

在人工神经网络中,每个神经元都通过公式来处理输入信息并生成输出。神经元的核心组成部分包括:

  • 输入(Input):来自前一层的输入数据。

  • 加权求和 :每个输入都会乘以一个权重(w),加上偏置项(b)。

  • 激活函数(Activation Function):对加权和的结果进行非线性变换,使得模型能够处理复杂的非线性关系。常见的激活函数包括 Sigmoid、ReLU 和 Tanh。

  • 输出(Output):经过激活函数处理后的值,作为传递到下一层的输入。

公式表达: 其中,(x_i) 是输入,(w_i) 是权重,(b) 是偏置项,激活函数 (f(x)) 用来引入非线性。

神经网络的层次结构

  1. 输入层(Input Layer)

    • 输入层的神经元接收外界输入数据。这些数据可以是图像的像素值、文本的词向量等。输入层本身不做任何处理,只是将输入信息传递到下一个层。
  2. 隐藏层(Hidden Layer)

    • 隐藏层是神经网络的中间层,它负责对输入数据进行复杂的特征提取。一个神经网络可以包含多个隐藏层,每个隐藏层都对前一层的输出进行处理。

    • 每个隐藏层的神经元通过权重与前一层的神经元连接,并使用激活函数将线性变换结果转化为非线性输出。

  3. 输出层(Output Layer)

    • 输出层的神经元数量取决于任务类型,例如,回归任务可能只有一个输出节点,而分类任务则有多个输出节点,表示不同的类别。

    • 输出层的输出经过处理后用于做出最终的预测。

全连接神经网络(Fully Connected Neural Network)

我们可以看到一个全连接神经网络的结构示意图:

  • 全连接(Fully Connected):在全连接网络中,当前层的每个神经元都会与下一层的每个神经元进行连接。这意味着每个神经元的输出都会影响下一层所有神经元的输入。

  • 层与层之间的连接:输入层连接到隐藏层,隐藏层再连接到输出层。每一层的输出都作为下一层的输入。

特点:

  1. 前向传播:信息从输入层经过隐藏层逐层传递到输出层。

    • 输入层 -> 隐藏层 -> 输出层。
  2. 每一层之间的全连接:每个神经元都会通过特定的权重连接到下一层的所有神经元,称为全连接层。

  3. 激活函数的作用:隐藏层中通常会使用激活函数引入非线性,使得网络能够学习到复杂的映射关系。

  4. 权重和偏置:每个神经元的输出都取决于输入、权重和偏置,通过反向传播和梯度下降,神经网络会调整这些参数以最小化损失函数。

可以使用这个进行跳转链接到谷歌的神经网络可视化网站

http://playground.tensorflow.org/#activation=relu&batchSize=11&dataset=spiral&regDataset=reg-gauss&learningRate=0.01&regularizationRate=0.1&noise=0&networkShape=7,5,4,3,2&seed=0.54477&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&xSquared=false&ySquared=false&cosX=false&sinX=false&cosY=false&sinY=false&collectStats=false&problem=classification&initZero=false&hideText=false

从一个神经网络看,这里就是两部分是我们人关注的,第一部分是我们如何进行权重参数的初始化, 第二部分我们怎么选择激活函数。

架构决定了,同一层一般是使用同一个非线性激活函数

相关推荐
shelly聊AI1 分钟前
AI赋能财务管理,AI技术助力企业自动化处理财务数据
人工智能·财务管理
波点兔1 分钟前
【部署glm4】属性找不到、参数错误问题解决(思路:修改模型包版本)
人工智能·python·机器学习·本地部署大模型·chatglm4
佚明zj1 小时前
全卷积和全连接
人工智能·深度学习
qzhqbb3 小时前
基于统计方法的语言模型
人工智能·语言模型·easyui
冷眼看人间恩怨4 小时前
【话题讨论】AI大模型重塑软件开发:定义、应用、优势与挑战
人工智能·ai编程·软件开发
2401_883041084 小时前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
AI极客菌5 小时前
Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。
人工智能·计算机视觉·ai作画·stable diffusion·aigc·flux·人工智能作画
阿_旭5 小时前
一文读懂| 自注意力与交叉注意力机制在计算机视觉中作用与基本原理
人工智能·深度学习·计算机视觉·cross-attention·self-attention
王哈哈^_^5 小时前
【数据集】【YOLO】【目标检测】交通事故识别数据集 8939 张,YOLO道路事故目标检测实战训练教程!
前端·人工智能·深度学习·yolo·目标检测·计算机视觉·pyqt
Power20246666 小时前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp