反向传播

【机器学习】BP神经网络目录一、引言二、算法前置定义（符号系统）三、BP 神经网络核心算法步骤步骤 1：网络参数初始化步骤 2：前向传播（Forward Propagation）

招牌红烧肉版-深度神经网络本文以 “开餐厅学做招牌菜” 的完整故事，来比喻深度神经网络的整个工作原理，包括：输入层、隐藏层、输出层、反向传播、权重、梯度、学习率等概念。

NJU-SME 人工智能（四）深度学习（架构+初始化+过拟合+CNN）从传统机器学习固定特征提取器，到深度学习可学习特征，模型表达能力实现质的飞跃，但也带来训练优化、参数设置等一系列挑战。

西西弗Sisyphus

神经网络的正向传播和反向传播包括可视化源码flyfish网络结构：输入层（无参数）→ 隐藏层（参数w1,b1w_1,b_1w1,b1）→ 输出层（参数w2,b2w_2,b_2w2,b2）激活函数：sigmoid函数σ(t)=11+e−t\sigma(t) = \frac{1}{1+e^{-t}}σ(t)=1+e−t1，导数特性σ′(t)=σ(t)(1−σ(t))\sigma'(t) = \sigma(t)(1-\sigma(t))σ′(t)=σ(t)(1−σ(t))（简化计算）中间变量定义：

反向传播懂了懂了，还是这样好理解。。。。那么反向传播的计算呢？通过y1, y2, y3 求出x1 ?太好了！现在我们来推导反向传播的计算。这是深度学习中最核心的部分！

【DL】从零构建智能：神经网络前向传播、反向传播与激活函数深度解密🏠 个人主页: EXtreme35📚 个人专栏: DL导语：你是否曾对人工智能背后的“黑科技”感到好奇？是否想知道计算机是如何“学习”和“思考”的？深度学习作为人工智能的核心，其最基本的运作原理——神经网络，其实并非遥不可及的魔法。这不仅是冷冰冰的代码，更是数学与工程的优雅交响曲。我们将用通俗易懂的可视化、生动比喻和逐步拆解的代码，彻底揭开神经网络的神秘面纱，带你从零开始，亲手构建一个属于你自己的智能模型！

南京大学 LLM开发基础（一）前向反向传播搭建主要围绕深度学习中前向反向传播的搭建原理。目录1. 大语言模型导言编码 + Attention + 基本组件

会写代码的饭桶

Transformers 学习入门：前置知识补漏在学习 Transformers 之前，打好神经网络和自然语言处理的基础至关重要。本文整理了需要掌握的核心前置知识，用通俗的例子帮你快速理解复杂概念，为后续学习铺平道路。

梯度爆炸问题：深度学习中的「链式核弹」与拆弹指南本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！

神经网络和深度学习介绍目录1.深度学习的介绍2.神经网络的构造①神经元结构②神经网络组成③权重核心性3.神经网络的本质4.感知器

动手学习深度学习-相关数学知识标量是只有一个元素的张量，仅包含一个数值。向量是标量值组成的列表，其中的标量值被称为向量的元素或分量。

【机器学习】反向传播如何求梯度（公式推导）前期学习深度学习的时候，很多概念都是一笔带过，只是觉得它在一定程度上解释得通就行，但是在强化学习的过程中突然意识到，反向传播求梯度其实并不是一件简单的事情，这篇博客的目的就是要讲清楚反向传播是如何对特定的某一层求梯度，进而更新其参数的

机器学习中的关键术语及其含义机器学习中的神经网络是一种模仿生物神经网络的结构和功能的数学模型或计算模型。它是指按照一定的规则将多个神经元连接起来的网络。

BP 算法探秘：神经网络的幕后引擎大家好，我是沛哥儿，很高兴又和大家见面了。在人工智能的世界里，神经网络如同大脑一般神秘又强大，而其中 **BP 算法（Backpropagation Algorithm）**就是驱动这个 “大脑” 不断学习进化的幕后引擎。

一文窥见神经网络生物神经元的组成生物神经元的基本工作原理人工神经元（对生物神经元的数学建模）神经网络中权重的作用神经网络中偏置的作用

正义的彬彬侠

神经网络反向传播交叉熵计算损失函数对隐藏层偏置b1的梯度本文是交叉熵损失函数为代表的两层神经网络的反向传播量化求导计算公式中的一个公式，单独拿出来做一下解释说明。

正义的彬彬侠

交叉熵损失函数为代表的两层神经网络的反向传播量化求导计算公式反向传播（back propagation，BP）算法也称误差逆传播，是神经网络训练的核心算法。我们通常说的 BP 神经网络是指应用反向传播算法进行训练的神经网络模型。反向传播算法的工作机制究竟是怎样的呢？我们以一个两层（即单隐层）网络为例，也就是图 8-5 中的网络结构，给出反向传播的基本推导过程。

正义的彬彬侠

神经网络反向传播交叉熵损失函数对输出层激活值Z2的导数本文是交叉熵损失函数为代表的两层神经网络的反向传播量化求导计算公式中的一个公式，单独拿出来做一下解释说明。

正义的彬彬侠

神经网络反向传播交叉熵计算损失函数对隐藏层权重w1的梯度本文是交叉熵损失函数为代表的两层神经网络的反向传播量化求导计算公式中的一个公式，单独拿出来做一下解释说明。

正义的彬彬侠

神经网络反向传播交叉熵计算损失函数对输出层偏置b2的梯度本文是交叉熵损失函数为代表的两层神经网络的反向传播量化求导计算公式中的一个公式，单独拿出来做一下解释说明。