反向传播

南京大学 LLM开发基础（一）前向反向传播搭建主要围绕深度学习中前向反向传播的搭建原理。目录1. 大语言模型导言编码 + Attention + 基本组件

会写代码的饭桶

Transformers 学习入门：前置知识补漏在学习 Transformers 之前，打好神经网络和自然语言处理的基础至关重要。本文整理了需要掌握的核心前置知识，用通俗的例子帮你快速理解复杂概念，为后续学习铺平道路。

梯度爆炸问题：深度学习中的「链式核弹」与拆弹指南本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！

神经网络和深度学习介绍目录1.深度学习的介绍2.神经网络的构造①神经元结构②神经网络组成③权重核心性3.神经网络的本质4.感知器

动手学习深度学习-相关数学知识标量是只有一个元素的张量，仅包含一个数值。向量是标量值组成的列表，其中的标量值被称为向量的元素或分量。

【机器学习】反向传播如何求梯度（公式推导）前期学习深度学习的时候，很多概念都是一笔带过，只是觉得它在一定程度上解释得通就行，但是在强化学习的过程中突然意识到，反向传播求梯度其实并不是一件简单的事情，这篇博客的目的就是要讲清楚反向传播是如何对特定的某一层求梯度，进而更新其参数的

机器学习中的关键术语及其含义机器学习中的神经网络是一种模仿生物神经网络的结构和功能的数学模型或计算模型。它是指按照一定的规则将多个神经元连接起来的网络。

BP 算法探秘：神经网络的幕后引擎大家好，我是沛哥儿，很高兴又和大家见面了。在人工智能的世界里，神经网络如同大脑一般神秘又强大，而其中 **BP 算法（Backpropagation Algorithm）**就是驱动这个 “大脑” 不断学习进化的幕后引擎。

一文窥见神经网络生物神经元的组成生物神经元的基本工作原理人工神经元（对生物神经元的数学建模）神经网络中权重的作用神经网络中偏置的作用

正义的彬彬侠

神经网络反向传播交叉熵计算损失函数对隐藏层偏置b1的梯度本文是交叉熵损失函数为代表的两层神经网络的反向传播量化求导计算公式中的一个公式，单独拿出来做一下解释说明。

正义的彬彬侠

交叉熵损失函数为代表的两层神经网络的反向传播量化求导计算公式反向传播（back propagation，BP）算法也称误差逆传播，是神经网络训练的核心算法。我们通常说的 BP 神经网络是指应用反向传播算法进行训练的神经网络模型。反向传播算法的工作机制究竟是怎样的呢？我们以一个两层（即单隐层）网络为例，也就是图 8-5 中的网络结构，给出反向传播的基本推导过程。

正义的彬彬侠

神经网络反向传播交叉熵损失函数对输出层激活值Z2的导数本文是交叉熵损失函数为代表的两层神经网络的反向传播量化求导计算公式中的一个公式，单独拿出来做一下解释说明。

正义的彬彬侠

神经网络反向传播交叉熵计算损失函数对隐藏层权重w1的梯度本文是交叉熵损失函数为代表的两层神经网络的反向传播量化求导计算公式中的一个公式，单独拿出来做一下解释说明。

正义的彬彬侠

神经网络反向传播交叉熵计算损失函数对输出层偏置b2的梯度本文是交叉熵损失函数为代表的两层神经网络的反向传播量化求导计算公式中的一个公式，单独拿出来做一下解释说明。

人工智能算法工程师(中级)课程8-PyTorch神经网络之神经网络基础与代码详解大家好，我是微学AI，今天给大家介绍一下人工智能算法工程师(中级)课程8-PyTorch神经网络之神经网络基础与代码详解。神经网络是一种模仿人脑神经元连接方式的计算模型，广泛应用于图像识别、自然语言处理等领域。本文将介绍神经网络的概念、结构、样本、训练和评估，并配合完整的可运行代码。

幻风_huanfeng

每天五分钟深度学习：如何使用计算图来反向计算参数的导数？在上一个课程中，我们使用一个例子来计算函数J，也就相当于前向传播的过程，本节课程我们将学习如何使用计算图计算函数J的导数。相当于反向传播的过程。

BPTT算法详解：深入探究循环神经网络（RNN）中的梯度计算【原理理解】在深度学习领域中，我们经常处理的是独立同分布（i.i.d）的数据，比如图像分类、文本生成等任务，其中每个样本之间相互独立。然而，在现实生活中，许多数据具有时序结构，例如语言模型中的单词序列、股票价格随时间的变化、视频中的帧等。对于这类具有时序关系的数据，传统的深度学习模型可能无法很好地捕捉到其内在的时间相关性。为了解决这一问题，循环神经网络（Recurrent Neural Network, RNN）被广泛应用于处理时序数据。

训练深度神经网络，使用反向传播算法，产生梯度消失和梯度爆炸问题的原因？🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/反向传播是神经网络训练的精髓。它是根据上一个迭代获得的误差（即损失）对神经网络的权重进行微调的做法。权重的适当调整可确保较低的误差，从而通过提高模型的泛化能力使其变得可靠。反向传播算法的核心思想和工作原理可分为以下几个方面：

政安晨：【深度学习神经网络基础】（九）—— 在深度学习神经网络反向传播训练中理解梯度目录简述理解梯度什么是梯度计算梯度政安晨的个人主页：政安晨欢迎 👍点赞✍评论⭐收藏收录专栏: 政安晨的机器学习笔记

BP 神经网络原理BP (Back Propagation) 神经网络是1986年由 Rumelhart 和 McClelland 为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络。