梯度下降法

青橘MATLAB学习

机器学习核心知识：从基础概念到关键算法本文深度剖析机器学习知识体系，从基本概念、学习方式，到分类算法、逻辑回归等关键内容均有涉及。详细阐述各知识点原理与应用场景，并对比多种算法的优劣。关键词：机器学习；监督学习；分类算法；逻辑回归；梯度下降法

静静的喝酒

机器学习笔记之最优化理论与方法(七)无约束优化问题——常用求解方法(上)本节将介绍无约束优化问题的常用求解方法，包括坐标轴交替下降法、最速下降法。本节是对优化算法(十~十七)最速下降法(梯度下降法)的理论补充，其中可能出现一些定理的证明过程这里不再赘述，并在相应位置附加链接。

静静的喝酒

机器学习笔记之优化算法(十三)关于二次上界引理本节将介绍二次上界的具体作用以及它的证明过程。在 Wolfe \text{Wolfe} Wolfe准则收敛性证明一节中简单介绍了利普希兹连续 ( Lipschitz Continuity ) (\text{Lipschitz Continuity}) (Lipschitz Continuity)。其定义对应数学符号表达如下： ∀ x , x ^ ∈ R n , ∃ L : s . t . ∣ ∣ f ( x ) − f ( x ^ ) ∣ ∣ ≤ L ⋅ ∣ ∣ x − x ^ ∣ ∣ \forall x

静静的喝酒

机器学习笔记之优化算法(十)梯度下降法铺垫：总体介绍从本节开始，将介绍梯度下降法 ( Gradient Descent,GD ) (\text{Gradient Descent,GD}) (Gradient Descent,GD)。