【深度学习】微积分

微积分

在2500年前，古希腊人把一个多边形分成三角形，并把它们的面积相加，才找到计算多边形面积的方法。

为了求出曲线形状（比如圆）的面积，古希腊人在这样的形状上刻内接多边形。

如图2.4.1所示，内接多边形的等长边越多，就越接近圆。这个过程也被称为逼近法（method of exhaustion）。

事实上，逼近法就是积分（integral calculus）的起源。

2000多年后，微积分的另一支，微分（differential calculus）被发明出来。

在微分学最重要的应用是优化问题，即考虑如何把事情做到最好。

在深度学习中，我们"训练"模型，不断更新它们，使它们在看到越来越多的数据时变得越来越好。

通常情况下，变得更好意味着最小化一个损失函数（loss function），即一个衡量"模型有多糟糕"这个问题的分数。

最终，我们真正关心的是生成一个模型，它能够在从未见过的数据上表现良好。

但"训练"模型只能将模型与我们实际能看到的数据相拟合。因此，我们可以将拟合模型的任务分解为两个关键问题：

优化（optimization）：用模型拟合观测数据的过程；
泛化（generalization）：数学原理和实践者的智慧，能够指导我们生成出有效性超出用于训练的数据集本身的模型。

本节提供了一个非常简短的入门教程，帮助读者快速掌握深度学习中常用的微分知识。

导数和微分

我们首先讨论导数的计算，这是几乎所有深度学习优化算法的关键步骤。

在深度学习中，我们通常选择对于模型参数可微的损失函数。

简而言之，对于每个参数，

如果我们把这个参数增加或减少一个无穷小的量，可以知道损失会以多快的速度增加或减少，

假设我们有一个函数 f : R → R f: \mathbb{R} \rightarrow \mathbb{R} f:R→R，其输入和输出都是标量。

(如果 f f f的导数存在，这个极限被定义为)

(f ′ ( x ) = lim ⁡ h → 0 f ( x + h ) − f ( x ) h . f'(x) = \lim_{h \rightarrow 0} \frac{f(x+h) - f(x)}{h}. f′(x)=h→0limhf(x+h)−f(x).)

如果 f ′ ( a ) f'(a) f′(a)存在，则称 f f f在 a a a处是可微（differentiable）的。

如果 f f f在一个区间内的每个数上都是可微的，则此函数在此区间中是可微的。

我们可以将的导数 f ′ ( x ) f'(x) f′(x)解释为 f ( x ) f(x) f(x)相对于 x x x的瞬时（instantaneous）变化率。所谓的瞬时变化率是基于 x x x中的变化 h h h，且 h h h接近 0 0 0。

为了更好地解释导数，让我们做一个实验。

(定义 u = f ( x ) = 3 x 2 − 4 x u=f(x)=3x^2-4x u=f(x)=3x2−4x)如下：

python 复制代码

%matplotlib inline  #这是 IPython 的一个魔法命令，其作用是让 Matplotlib 绘制的图形能够直接在 Jupyter Notebook 等环境中显示。

import numpy as np #导入numpy库并简称为np，numpy是 Python 中用于科学计算的基础库，可处理数组、矩阵等数据结构。

from matplotlib_inline import backend_inline #导入matplotlib_inline库中的backend_inline模块，该模块可用于配置 Matplotlib 的内联显示设置。

from d2l import torch as d2l #（动手学深度学习）库中导入torch相关模块并简称为d2l，d2l库为深度学习相关的学习和实践提供了诸多实用工具和函数。


def f(x):
    return 3 * x ** 2 - 4 * x