深度学习:人工神经网络基础概念

本文目录:

一、什么是神经网络

人工神经网络(Artificial Neural Network, 简写为ANN )也简称为神经网络(NN),是一种模仿生物神经网络结构和功能的计算模型。它由多个互相连接的人工神经元(也称为节点)构成,可以用于处理和学习复杂的数据模式,尤其适合解决非线性问题。人工神经网络是机器学习中的一个重要模型,尤其在深度学习领域中得到了广泛应用。

人脑可以看做是一个生物神经网络,由众多的神经元 连接而成。各个神经元传递复杂的电信号,树突接收到输入信号 ,然后对信号进行处理,通过轴突输出信号 。下图是生物神经元示意图:

当电信号通过树突进入到细胞核时,会逐渐聚集电荷。达到一定的电位后,细胞就会被激活,通过轴突发出电信号。

二、如何构建神经网络

神经网络是由多个神经元组成,构建神经网络就是在构建神经元。以下是神经网络中神经元的构建说明:

这个流程就像,来源不同树突(树突都会有不同的权重)的信息, 进行加权的计算, 输入到细胞中做加和,再通过激活函数输出细胞值。

同一层的多个神经元可以看作是通过并行计算来处理相同的输入数据,学习输入数据的不同特征。每个神经元可能会关注输入数据中的不同部分,从而捕捉到数据的不同属性。

接下来,我们使用多个神经元来构建神经网络,相邻层之间的神经元相互连接,并给每一个连接分配一个强度,如下图所示:

神经网络中信息只向一个方向移动,即从输入节点向前移动,通过隐藏节点,再向输出节点移动。其中的基本部分是:

  1. 输入层(Input Layer): 即输入x的那一层(如图像、文本、声音等)。每个输入特征对应一个神经元。输入层将数据传递给下一层的神经元。
  2. 输出层(Output Layer): 即输出y的那一层。输出层的神经元根据网络的任务(回归、分类等)生成最终的预测结果。
  3. 隐藏层(Hidden Layers): 输入层和输出层之间都是隐藏层,神经网络的"深度"通常由隐藏层的数量决定。隐藏层的神经元通过加权和激活函数处理输入,并将结果传递到下一层。

特点是:

  • 同一层的神经元之间没有连接;
  • 第N层的每个神经元和第N-1层的所有神经元相连(这就是Fully Connected的含义),这就是全连接神经网络(FCNN)
  • 全连接神经网络接收的样本数据是二维的,数据在每一层之间需要以二维的形式传递;
  • 第N-1层神经元的输出就是第N层神经元的输入;
  • 每个连接都有一个权重值(w系数和b系数)。

三、神经网络内部状态值和激活值

每一个神经元工作时,前向传播 会产生两个值,内部状态值(加权求和值)激活值反向传播 时则会产生激活值梯度内部状态值梯度

  • 内部状态值

    • 神经元或隐藏单元的内部存储值,它反映了当前神经元接收到的输入、历史信息以及网络内部的权重计算结果。
    • 每个输入 x i x_i xi都有一个与之相乘的权重 w i w_i wi,表示每个输入信号的重要性。
    • z=w⋅x+b
      • w:权重矩阵
      • x:输入值
      • b:偏置
  • 激活值

    • 通过激活函数(如 ReLU、Sigmoid、Tanh)对内部状态值进行非线性变换后得到的结果。激活值决定了当前神经元的输出。
    • a=f(z)
      • f:激活函数
      • z:内部状态值

通过控制每个神经元的内部状态值和激活值的大小、每一层内部状态值的方差和每一层激活值的方差可让整个神经网络工作的更好。

今天的分享到此结束。

相关推荐
LaughingZhu14 分钟前
Product Hunt 每日热榜 | 2025-10-03
人工智能·经验分享·搜索引擎·产品运营
Godspeed Zhao21 分钟前
自动驾驶中的传感器技术65——Navigation(2)
人工智能·机器学习·自动驾驶
智能交通技术23 分钟前
iTSTech:智慧物流中自动驾驶、无人机与机器人的协同应用场景分析 2025
人工智能·机器学习·机器人·自动驾驶·无人机
先把态度摆正23 分钟前
自动驾驶决策规划算法(开幕式)
人工智能·机器学习·自动驾驶
风遥~1 小时前
快速了解并使用Matplotlib库
人工智能·python·数据分析·matplotlib
用户5191495848451 小时前
每个JavaScript开发者都应掌握的33个核心概念
人工智能·aigc
看今朝·1 小时前
【软件工程3.0】以UTDD/ATDD的理念深度融入AI生产流程
人工智能·软件工程·软件工程3.0·ai生产过程
IT古董2 小时前
【第五章:计算机视觉-项目实战之图像分割实战】2.图像分割实战:人像抠图-(5)模型训练与测试
人工智能·计算机视觉
qq_314009832 小时前
大模型之用LLaMA-Factory微调Deepseek-r1-8b模型实践
人工智能·语言模型
丁学文武2 小时前
大模型原理与实践:第三章-预训练语言模型详解_第2部分-Encoder-Decoder-T5
人工智能·语言模型·自然语言处理·大模型·t5·encoder-decoder