梯度下降法

机器学习概念，算法原理及应用机器学习是一种通过算法和模型使计算机从数据中自动学习并进行预测或决策的技术，属于人工智能的一个分支。其核心目标是让计算机在没有明确编程指令的情况下，通过对大量数据的分析，识别模式和规律，从而构建适应新数据的模型。机器学习包括监督学习、无监督学习和强化学习等不同类型，广泛应用于图像识别、自然语言处理、推荐系统和自动驾驶等领域，具备自适应、自动化和泛化能力，是数据驱动的技术创新。领域内的一些学者也对机器学习给出了定义—— 汤姆·米切尔（Tom Mitchell）是卡内基梅隆大学的计算机科学教授，被认为是机器

Day19_【机器学习—线性回归 (2)—损失函数、梯度下降法】线性回归的目标是找到一条最佳拟合直线，而“最佳”是由损失函数定义的，优化过程就是最小化这个损失函数。损失函数：衡量真实值与预测值之间差异的函数，也叫代价函数、成本函数、目标函数

第2章神经网络的数学基础本章我们将梳理一下神经网络所需的数学基础知识，其中大多数内容没有超出高中所学范围，因此读起来不会吃力。

青橘MATLAB学习

机器学习核心知识：从基础概念到关键算法本文深度剖析机器学习知识体系，从基本概念、学习方式，到分类算法、逻辑回归等关键内容均有涉及。详细阐述各知识点原理与应用场景，并对比多种算法的优劣。关键词：机器学习；监督学习；分类算法；逻辑回归；梯度下降法

静静的喝酒

机器学习笔记之最优化理论与方法(七)无约束优化问题——常用求解方法(上)本节将介绍无约束优化问题的常用求解方法，包括坐标轴交替下降法、最速下降法。本节是对优化算法(十~十七)最速下降法(梯度下降法)的理论补充，其中可能出现一些定理的证明过程这里不再赘述，并在相应位置附加链接。

静静的喝酒

机器学习笔记之优化算法(十三)关于二次上界引理本节将介绍二次上界的具体作用以及它的证明过程。在 Wolfe \text{Wolfe} Wolfe准则收敛性证明一节中简单介绍了利普希兹连续 ( Lipschitz Continuity ) (\text{Lipschitz Continuity}) (Lipschitz Continuity)。其定义对应数学符号表达如下： ∀ x , x ^ ∈ R n , ∃ L : s . t . ∣ ∣ f ( x ) − f ( x ^ ) ∣ ∣ ≤ L ⋅ ∣ ∣ x − x ^ ∣ ∣ \forall x

静静的喝酒

机器学习笔记之优化算法(十)梯度下降法铺垫：总体介绍从本节开始，将介绍梯度下降法 ( Gradient Descent,GD ) (\text{Gradient Descent,GD}) (Gradient Descent,GD)。

我是有底线的