梯度下降

【P27 回归算法及应用实践】有监督的机器学习、分类与回归、一元线性回归、最小二乘法、多元回归与梯度下降、学习率回归算法及应用实践1.6 实例字母u是指 unicodereshape(1,-1)什么意思？reshape(行数，列数)常用来更改数据的行列数目一般可用于numpy的array和ndarray, pandas的dataframe和series(series需要先用series.values把对象转化成ndarray结构)

最小二乘问题详解6：梯度下降法在之前的两篇文章《最小二乘问题详解4：非线性最小二乘》、《最小二乘问题详解5：非线性最小二乘求解实例》中，笔者介绍了非线性最小二乘问题，并使用Gauss-Newton方法来进行求解。不过，求解非线性最小二乘问题还有另外一种方法——梯度下降法。

机器学习（10）L1 与 L2 正则化详解在机器学习中，我们常常会遇到“过拟合”的问题。也就是说，模型在训练数据上表现得非常好，但在测试数据上却一塌糊涂。为了防止模型“记住”数据而不是“学习”规律，我们通常会在训练时加入一种约束，让模型不要太复杂——这就是正则化（Regularization）。

却道天凉_好个秋

深度学习（十七）：全批量梯度下降 (BGD)、随机梯度下降 (SGD) 和小批量梯度下降 (MBGD)**梯度下降（Gradient Descent）**是深度学习中用于最小化损失函数（Loss Function）的核心优化算法。它的基本思想是：沿着损失函数对模型参数的梯度（即最陡峭的下降方向）的反方向，迭代地更新参数，直到收敛到局部（或全局）最小值。

南京大学 LLM开发基础（一）前向反向传播搭建主要围绕深度学习中前向反向传播的搭建原理。目录1. 大语言模型导言编码 + Attention + 基本组件

许愿与你永世安宁

强化学习（11）随机近似有两种方法。第一种方法很直接，即收集所有样本后计算平均值；但这种方法的缺点是，若样本是在一段时间内逐个收集的，我们必须等到所有样本都收集完毕。第二种方法可避免此缺点，因为它以增量迭代的方式计算平均值，来几个就计算几个，不需要等了。

【机器学习】反向传播如何求梯度（公式推导）前期学习深度学习的时候，很多概念都是一笔带过，只是觉得它在一定程度上解释得通就行，但是在强化学习的过程中突然意识到，反向传播求梯度其实并不是一件简单的事情，这篇博客的目的就是要讲清楚反向传播是如何对特定的某一层求梯度，进而更新其参数的

吴恩达机器学习笔记（2）—单变量线性回归目录一、模型表示二、代价函数三、代价函数的直观理解（1）四、代价函数的直观理解（2）五、梯度下降六、梯度下降的直观理解

摘取一颗天上星️

深入解析机器学习的心脏：损失函数及其背后的奥秘当你在手机地图中输入目的地时，导航软件如何从千万条路径中选出最优解？当邮箱自动将广告邮件归类到垃圾箱，它又是如何“学会”判断的？这背后有一个默默无闻却至关重要的指挥官——损失函数。

大模型铲屎官

【深度学习-Day 16】梯度下降法 - 如何让模型自动变聪明？01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南 02-玩转 LangChain Memory 模块：四种记忆类型详解及应用场景全覆盖 03-全面掌握 LangChain：从核心链条构建到动态任务分配的实战指南 04-玩转 LangChain：从文档加载到高效问答系统构建的全程实战 05-玩转 LangChain：深度评估问答系统的三种高效方法（示例生成、手动评估与LLM辅助评估） 06-从 0 到 1 掌握 LangChain Agents：自定义工具 + LLM 打造智能

青橘MATLAB学习

机器学习中的学习率及其衰减方法全面解析摘要：本文深入解析机器学习中的学习率及其衰减方法，涵盖学习率的作用、常用衰减参数及七种主流衰减策略（分段常数、指数、自然指数、多项式、余弦、线性余弦、噪声线性余弦）。通过公式推导与图示对比，揭示不同衰减方式的适用场景与性能差异，并结合实际训练需求指导超参数调优。关键词：学习率、衰减方法、梯度下降、超参数优化、模型收敛。

从对数变换到深度框架：逻辑回归与交叉熵的数学原理及PyTorch实战目录书接上文深度学习激活函数与损失函数全解析：从Sigmoid到交叉熵的数学原理与实践应用-CSDN博客文章浏览阅读254次，点赞10次，收藏8次。本文系统探讨了Sigmoid、tanh、ReLU、Leaky ReLU、PReLU、ELU等激活函数的数学公式、导数特性、优劣势及适用场景，并通过Python代码实现可视化分析。同时深入对比了极大似然估计与交叉熵损失函数的差异，阐述其在分类任务中的核心作用，揭示MSE在分类问题中的局限性及交叉熵的理论优势。https://blog.csdn.net/qq_58

神经网络优化 - 小批量梯度下降之批量大小的选择上一博文学习了小批量梯度下降在神经网络优化中的应用：神经网络优化 - 小批量梯度下降-CSDN博客在小批量梯度下降法中，批量大小(Batch Size)对网络优化的影响也非常大，本文我们来学习如何选择小批量梯度下降的批量大小。

自求导实现线性回归与PyTorch张量详解目录书接上文线性回归的前向传播、反向传播与数学求解详解-CSDN博客文章浏览阅读1k次，点赞40次，收藏19次。本文从前向传播的代码实现出发，展示了如何利用线性模型对二维数据进行拟合及误差分析，接着深入讲解了反向传播中的学习率和梯度下降算法的理论基础及优化方法，结合Python代码动态演示了参数更新和损失函数的变化过程；最后，文章通过数学推导详细揭示了线性回归模型参数的计算公式，并用代码实现了数学解法的拟合过程，帮助读者全面掌握线性回归的基本原理、优化方法及编程实现。https://blog.csdn.n

机器学习中的距离度量与优化方法：从曼哈顿距离到梯度下降目录书接上文KNN算法深度解析：从决策边界可视化到鸢尾花分类实战-CSDN博客文章浏览阅读660次，点赞11次，收藏10次。本文系统讲解了KNN算法的决策边界形成机制、Scikit-learn实现细节及鸢尾花分类实战，涵盖K值选择对边界的影响、API参数解析、数据预处理（归一化/标准化）和数据集划分方法，通过代码示例和可视化分析帮助读者掌握KNN的核心应用技巧。https://blog.csdn.net/qq_58364361/article/details/147201792?spm=1011.2415

深度学习框架PyTorch深度学习框架：是一个针对深度学习的科学计算库，在深度学习领域，以下是当前市场上几个主流的深度学习框架：

从零推导线性回归：最小二乘法与梯度下降的数学原理欢迎来到我的主页：【Echo-Nie】本篇文章收录于专栏【机器学习】本文所有内容相关代码都可在以下仓库中找到： Github-MachineLearning

【机器学习】分而知变，积而见道：微积分中的世界之思💬 欢迎讨论：如果你在阅读过程中有任何疑问或想要进一步探讨的内容，欢迎在评论区留言！我们一起学习、一起成长。

机器学习（四）——神经网络（神经元、感知机、BP神经网络、梯度下降、多层神经网络、Python源码）神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应”

正义的彬彬侠

交叉熵损失函数为代表的两层神经网络的反向传播量化求导计算公式反向传播（back propagation，BP）算法也称误差逆传播，是神经网络训练的核心算法。我们通常说的 BP 神经网络是指应用反向传播算法进行训练的神经网络模型。反向传播算法的工作机制究竟是怎样的呢？我们以一个两层（即单隐层）网络为例，也就是图 8-5 中的网络结构，给出反向传播的基本推导过程。