神经网络梯度下降优化参数

损失函数

神经网络的最终目的就是最小化损失函数的过程,损失函数越小,证明模型的预测值就越接近真实值。

梯度下降算法

为了最优化损失函数,开发了梯度下降算法,这里的梯度就是高等数学中的梯度。

误差反向传播算法

前向传播介绍

参数解释:这里的神经元阈值跟生物学中的神经兴奋类似,达到阈值以后就输出。连接权重表明了不同变量对于最终的输出结果的影响程度的不同。

  • 首先用输入参数和连接权重的乘积减去阈值获得隐藏层值
  • 用隐藏层值和连接权重的乘积减去阈值获得真实输出
  • 计算真实值和预期值之间的误差

反向传播优化

  • 根据前向传播可以知道待优化的参数有权重和阈值两个参数
  • 优化过程涉及学习率这个概念,简单理解就是在进行梯度下降算法的时候每一次迭代过程中下降的幅度,下降幅度过大就会导致过拟合,下降幅度太小会导致很长时间都没法拟合到最优解。
相关推荐
盏灯40 分钟前
🔥手动干预时间不超过5分钟,Trae帮你做重复工作
人工智能·trae
我叫黑大帅1 小时前
从奶奶挑菜开始:手把手教你搞懂“TF-IDF”
人工智能·python·算法
深度学习入门1 小时前
如何使用PyTorch搭建一个基础的神经网络并进行训练?
人工智能·pytorch·python·深度学习·神经网络·ai
肥仔哥哥19301 小时前
基于OpenCv做照片分析应用一(Java)
java·人工智能·opencv·基于图片关键点分析截图
囚生CY1 小时前
【学习笔记】LLM Interview(Agent相关)
人工智能
lxmyzzs1 小时前
《百度的 RT-DETR:一种基于 Vision Transformer 的实时对象检测器》阅读笔记
人工智能·笔记·目标检测·transformer
AI浩1 小时前
Transformer架构三大核心:位置编码(PE)、前馈网络(FFN)和多头注意力(MHA)。
网络·深度学习·transformer
LifeEnjoyer1 小时前
贝叶斯分类(Bayes Classify)
人工智能·机器学习·分类
sjr20011 小时前
了解迁移学习吗?大模型中是怎么运用迁移学习的?
人工智能·机器学习·迁移学习
却道天凉_好个秋2 小时前
计算机视觉(四):二值化
图像处理·人工智能·opencv·计算机视觉·二值化