机器学习（12）---梯度下降（含手写公式、推导过程和手写例题）

梯度下降

• 一、概述
• • [1.1 梯度下降的用途](#1.1 梯度下降的用途)
  • [1.2 梯度下降公式](#1.2 梯度下降公式)
• 二、公式讲解
• • [2.1 推导过程](#2.1 推导过程)
  • [2.2 例题](#2.2 例题)

---

一、概述

1.1 梯度下降的用途

1. 使用线性回归的平方误差成本函数时，成本函数不会也永远不会有多个局部最小值。因为它是凸函数，只有单一的全局最小值。通俗地说凸函数就是碗形函数。

2. 梯度下降数广泛应用于求解非凸函数的极值点。

1.2 梯度下降公式

二、公式讲解

2.1 推导过程

2.2 例题

1. 题目描述：

2. 解答：