梯度下降

进阶篇-11-数学篇-10--梯度在神经网络中的实际应用：从“猜答案”到“学会思考”的旅程作者：Weisian 日期：2026年2月3日上一篇我们讲了梯度是AI优化的“导航仪”——它告诉模型该往哪个方向走，才能最快降低错误。但你可能会问：这个“导航仪”到底装在哪儿？又是怎么工作的？

【数学】【微积分】④ 从变化率到世界优化：微积分的现代应用与实战解析想象一下，你正在驾驶一辆自动驾驶汽车，它需要实时计算前方障碍物的相对速度，以决定是刹车还是转向。这个过程背后，正是微积分在默默工作。微积分不仅是数学的"皇冠"，更是理解世界变化规律的钥匙。它帮助我们从"变化"中提取规律，从"累积"中发现价值。

3Blue1Brown-深度学习之梯度下降法本文是在看了 3Blue1Brown-深度学习之人工神经网络视频后的学习笔记。3B1B的“深度学习”系列视频用可视化动画和深入浅出的讲解让我们看清人工神经网络的本质。

深度学习--BP神经网络&梯度下降&损失函数深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向。是一种人工智能的子领域，它基于人工神经网络的概念和结构，通过模拟人脑的工作方式来进行机器学习。深度学习的主要特点是使用多层次的神经网络来提取和学习数据中的特征，并通过反向传播算法来优化网络参数，从而实现对复杂数据的建模与分类。深度学习在图像识别、语音识别、自然语言处理等领域取得了显著的成果，并被广泛应用于各种领域。

【DL】从零构建智能：神经网络前向传播、反向传播与激活函数深度解密🏠 个人主页: EXtreme35📚 个人专栏: DL导语：你是否曾对人工智能背后的“黑科技”感到好奇？是否想知道计算机是如何“学习”和“思考”的？深度学习作为人工智能的核心，其最基本的运作原理——神经网络，其实并非遥不可及的魔法。这不仅是冷冰冰的代码，更是数学与工程的优雅交响曲。我们将用通俗易懂的可视化、生动比喻和逐步拆解的代码，彻底揭开神经网络的神秘面纱，带你从零开始，亲手构建一个属于你自己的智能模型！

牛顿法：从最优化到机器学习的二阶收敛之路本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！

W_q,W_k,W_v矩阵是怎么确定的？在 Transformer 模型（以及注意力机制）中，W_q（查询矩阵）、W_k（键矩阵）、W_v（值矩阵）是核心可学习参数，其确定方式本质是「模型通过数据驱动的反向传播优化得到」，但需结合初始化、网络结构设计和训练过程综合理解。以下从「底层原理→确定流程→关键细节」三个维度，用结构化方式拆解，同时结合代码示例辅助理解：

底层视觉及图像增强-项目实践理论补充（十六-0-（30）：梯度下降在LED画质优化中的深度应用）：从奥运大屏到手机小屏，快来挖一挖里面都有什么代码仓库入口：系列文章规划：巨人的肩膀：数学本质：想象调热水器温度：就像微调精密仪器：问题现象：LED屏在低亮度时，RGB三色衰减曲线不一致，导致灰阶偏色（通常偏青或偏紫）

【P27 回归算法及应用实践】有监督的机器学习、分类与回归、一元线性回归、最小二乘法、多元回归与梯度下降、学习率回归算法及应用实践1.6 实例字母u是指 unicodereshape(1,-1)什么意思？reshape(行数，列数)常用来更改数据的行列数目一般可用于numpy的array和ndarray, pandas的dataframe和series(series需要先用series.values把对象转化成ndarray结构)

最小二乘问题详解6：梯度下降法在之前的两篇文章《最小二乘问题详解4：非线性最小二乘》、《最小二乘问题详解5：非线性最小二乘求解实例》中，笔者介绍了非线性最小二乘问题，并使用Gauss-Newton方法来进行求解。不过，求解非线性最小二乘问题还有另外一种方法——梯度下降法。

机器学习（10）L1 与 L2 正则化详解在机器学习中，我们常常会遇到“过拟合”的问题。也就是说，模型在训练数据上表现得非常好，但在测试数据上却一塌糊涂。为了防止模型“记住”数据而不是“学习”规律，我们通常会在训练时加入一种约束，让模型不要太复杂——这就是正则化（Regularization）。

却道天凉_好个秋

深度学习（十七）：全批量梯度下降 (BGD)、随机梯度下降 (SGD) 和小批量梯度下降 (MBGD)**梯度下降（Gradient Descent）**是深度学习中用于最小化损失函数（Loss Function）的核心优化算法。它的基本思想是：沿着损失函数对模型参数的梯度（即最陡峭的下降方向）的反方向，迭代地更新参数，直到收敛到局部（或全局）最小值。

南京大学 LLM开发基础（一）前向反向传播搭建主要围绕深度学习中前向反向传播的搭建原理。目录1. 大语言模型导言编码 + Attention + 基本组件

许愿与你永世安宁

强化学习（11）随机近似有两种方法。第一种方法很直接，即收集所有样本后计算平均值；但这种方法的缺点是，若样本是在一段时间内逐个收集的，我们必须等到所有样本都收集完毕。第二种方法可避免此缺点，因为它以增量迭代的方式计算平均值，来几个就计算几个，不需要等了。

【机器学习】反向传播如何求梯度（公式推导）前期学习深度学习的时候，很多概念都是一笔带过，只是觉得它在一定程度上解释得通就行，但是在强化学习的过程中突然意识到，反向传播求梯度其实并不是一件简单的事情，这篇博客的目的就是要讲清楚反向传播是如何对特定的某一层求梯度，进而更新其参数的

吴恩达机器学习笔记（2）—单变量线性回归目录一、模型表示二、代价函数三、代价函数的直观理解（1）四、代价函数的直观理解（2）五、梯度下降六、梯度下降的直观理解

摘取一颗天上星️

深入解析机器学习的心脏：损失函数及其背后的奥秘当你在手机地图中输入目的地时，导航软件如何从千万条路径中选出最优解？当邮箱自动将广告邮件归类到垃圾箱，它又是如何“学会”判断的？这背后有一个默默无闻却至关重要的指挥官——损失函数。

大模型铲屎官

【深度学习-Day 16】梯度下降法 - 如何让模型自动变聪明？01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南 02-玩转 LangChain Memory 模块：四种记忆类型详解及应用场景全覆盖 03-全面掌握 LangChain：从核心链条构建到动态任务分配的实战指南 04-玩转 LangChain：从文档加载到高效问答系统构建的全程实战 05-玩转 LangChain：深度评估问答系统的三种高效方法（示例生成、手动评估与LLM辅助评估） 06-从 0 到 1 掌握 LangChain Agents：自定义工具 + LLM 打造智能

青橘MATLAB学习

机器学习中的学习率及其衰减方法全面解析摘要：本文深入解析机器学习中的学习率及其衰减方法，涵盖学习率的作用、常用衰减参数及七种主流衰减策略（分段常数、指数、自然指数、多项式、余弦、线性余弦、噪声线性余弦）。通过公式推导与图示对比，揭示不同衰减方式的适用场景与性能差异，并结合实际训练需求指导超参数调优。关键词：学习率、衰减方法、梯度下降、超参数优化、模型收敛。

从对数变换到深度框架：逻辑回归与交叉熵的数学原理及PyTorch实战目录书接上文深度学习激活函数与损失函数全解析：从Sigmoid到交叉熵的数学原理与实践应用-CSDN博客文章浏览阅读254次，点赞10次，收藏8次。本文系统探讨了Sigmoid、tanh、ReLU、Leaky ReLU、PReLU、ELU等激活函数的数学公式、导数特性、优劣势及适用场景，并通过Python代码实现可视化分析。同时深入对比了极大似然估计与交叉熵损失函数的差异，阐述其在分类任务中的核心作用，揭示MSE在分类问题中的局限性及交叉熵的理论优势。https://blog.csdn.net/qq_58