神经网络梯度下降优化参数

损失函数

神经网络的最终目的就是最小化损失函数的过程,损失函数越小,证明模型的预测值就越接近真实值。

梯度下降算法

为了最优化损失函数,开发了梯度下降算法,这里的梯度就是高等数学中的梯度。

误差反向传播算法

前向传播介绍

参数解释:这里的神经元阈值跟生物学中的神经兴奋类似,达到阈值以后就输出。连接权重表明了不同变量对于最终的输出结果的影响程度的不同。

  • 首先用输入参数和连接权重的乘积减去阈值获得隐藏层值
  • 用隐藏层值和连接权重的乘积减去阈值获得真实输出
  • 计算真实值和预期值之间的误差

反向传播优化

  • 根据前向传播可以知道待优化的参数有权重和阈值两个参数
  • 优化过程涉及学习率这个概念,简单理解就是在进行梯度下降算法的时候每一次迭代过程中下降的幅度,下降幅度过大就会导致过拟合,下降幅度太小会导致很长时间都没法拟合到最优解。
相关推荐
zm-v-1593043398611 分钟前
ChatGPT 与 DeepSeek:学术科研的智能 “双引擎”
人工智能·chatgpt
果冻人工智能14 分钟前
美国狂奔,中国稳走,AI赛道上的龟兔之争?
人工智能
牙牙要健康14 分钟前
【目标检测】【深度学习】【Pytorch版本】YOLOV2模型算法详解
pytorch·深度学习·目标检测
果冻人工智能24 分钟前
再谈AI与程序员: AI 写的代码越来越多,那我们还需要开发者吗?
人工智能
大脑探路者28 分钟前
【PyTorch】继承 nn.Module 创建简单神经网络
人工智能·pytorch·神经网络
无代码Dev1 小时前
如何使用AI去水印(ChatGPT去除图片水印)
人工智能·ai·ai-native
达柳斯·绍达华·宁1 小时前
自动驾驶04:点云预处理03
人工智能·机器学习·自动驾驶
wgc2k1 小时前
吴恩达深度学习复盘(4)神经网络的前向传播
人工智能·深度学习
屎派克1 小时前
神经网络知识
人工智能·深度学习·神经网络