梯度

Yongqiang Cheng

Abs Function - Derivatives and Gradients (导数和梯度)torch.abs(input: Tensor, *, out: Optional[Tensor]) -> Tensor https://docs.pytorch.org/docs/stable/generated/torch.abs.html

Yongqiang Cheng

Softplus Function - Derivatives and Gradients (导数和梯度)class torch.nn.Softplus(beta=1.0, threshold=20.0) https://docs.pytorch.org/docs/stable/generated/torch.nn.Softplus.html

Yongqiang Cheng

SELU Function - Derivatives and Gradients (导数和梯度)class torch.nn.SELU(inplace=False) https://docs.pytorch.org/docs/stable/generated/torch.nn.SELU.html

Yongqiang Cheng

ELU Function - Derivatives and Gradients (导数和梯度)class torch.nn.ELU(alpha=1.0, inplace=False) https://docs.pytorch.org/docs/stable/generated/torch.nn.ELU.html

Yongqiang Cheng

Tanh Function - Derivatives and Gradients (导数和梯度)class torch.nn.Tanh(*args, **kwargs) https://docs.pytorch.org/docs/stable/generated/torch.nn.Tanh.html

Yongqiang Cheng

ReLU Function and Leaky ReLU Function - Derivatives and Gradients (导数和梯度)Activation functions decide whether a neuron should be activated or not by calculating the weighted sum and further adding bias to it. They are differentiable operators for transforming input signals to outputs, while most of them add nonlinearity. 激活函数 (

Yongqiang Cheng

Mean Absolute Error (MAE) Loss Function - Derivatives and Gradients (导数和梯度)https://docs.pytorch.org/docs/stable/generated/torch.nn.L1Loss.html https://github.com/pytorch/pytorch/blob/main/torch/nn/modules/loss.py

噜～噜～噜～

偏导数和全导数的个人理解作为偏导数和全导数的笔记，方便理解与复习。最近在看论文的时候，原理部分多次提到了梯度算子 ∇\nabla∇，但是早把梯度什么的忘完了，AI一搜说是偏导数，但是深度学习里的梯度算子还不太一样，有些是全导数，有些是偏导数，搞得我头疼，最后终于总结出了一个比较合理的解释，所以记下笔记。

【学习笔记】深度学习中梯度消失和爆炸问题及其解决方案研究反向传播算法是深度学习模型训练的核心技术，其本质是链式法则在神经网络中的应用。在一个典型的多层神经网络中，第L层的梯度计算遵循以下规则：

【研究生随笔】Pytorch中的线性代数（微分）在深度学习中，导数和微分是优化算法的关键步骤，对于每个参数，如果把这个参数增加或减少⼀个⽆穷小的量，就可以知道损失会以多快的速度变化。

南京大学 LLM开发基础（一）前向反向传播搭建主要围绕深度学习中前向反向传播的搭建原理。目录1. 大语言模型导言编码 + Attention + 基本组件

梯度消失问题：深度学习中的「记忆衰退」困境与解决方案本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！

梯度爆炸问题：深度学习中的「链式核弹」与拆弹指南本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！

理解梯度在神经网络中的应用梯度（Gradient）是微积分中的一个重要概念，广泛应用于机器学习和深度学习中，尤其是在神经网络的训练过程中。下面将从梯度的基本概念、其在神经网络中的应用两个方面进行详细介绍。

OpenCV 官翻 2 - 图像处理https://docs.opencv.org/4.x/df/d9d/tutorial_py_colorspaces.html

神经网络中的梯度消失与梯度爆炸在深层次的神经网络中很容易出现梯度消失与梯度爆炸的问题。这篇博客就详细介绍一下为什么会产生梯度消失与梯度爆炸的问题，以及如何解决。

写给新人的深度学习扫盲贴：ReLu和梯度梯度是深度学习中最常用的激活函数之一，因其简单、高效且能有效缓解梯度消失问题而被广泛使用。$$ \text{ReLU}(x) = \max(0, x) = \begin{cases} x & \text{if } x \geq 0 \ 0 & \text{if } x < 0 \end{cases}

西西弗Sisyphus

深度学习基础 - 梯度垂直于等高线的切线flyfish给定一个标量函数 f ( x , y ) f(x, y) f(x,y)，它的梯度（gradient）是一个向量，表示为 ∇ f ( x , y ) \nabla f(x, y) ∇f(x,y)，定义为： ∇ f ( x , y ) = ( ∂ f ∂ x , ∂ f ∂ y ) \nabla f(x, y) = \left( \frac{\partial f}{\partial x}, \frac{\partial f}{\partial y} \right) ∇f(x,y)=(∂x∂f,∂

内容安全复习 7 - 对抗攻击与防御对抗性攻击的目的是通过在原始图像中添加人眼无法察觉的扰动，使得模型的预测结果出错。就像训练一个神经网络，但是网络参数 θ \theta θ 被 x ′ x' x′替代。

政安晨：【深度学习神经网络基础】（九）—— 在深度学习神经网络反向传播训练中理解梯度目录简述理解梯度什么是梯度计算梯度政安晨的个人主页：政安晨欢迎 👍点赞✍评论⭐收藏收录专栏: 政安晨的机器学习笔记