**卷积**：是一种简单的数学运算，它涉及使用一个小矩阵（称为核或滤波器），在输入图像上滑动，在滤波器与图像重叠的每个点处执行点积运算，并对所有像素重复此过程。
核的设计目的是通过检测符合特定标准的像素模式，来突出输入图像的某些特征，如边缘、角点或纹理，
卷积可以在一维、二维甚至三维空间中进行。
==卷积既可用于上采样（提高分辨率），也可用于下采样（降低分辨率）==，我们稍后将介绍一种非常适合上采样的卷积变体和一种下采样方法。
在深度学习中使用卷积的目的不是预测结果，而是提取特征，然后由前馈神经网络（FFN）层利用这些特征来预测数据。
神经网络的一个重要性质是它可以自动的从数据中学习到合适的权重参数，理论证明：一个足够深/宽的神经网络，理论上可以**逼近任意复杂的连续函数**（只要激活函数合适，如ReLU、Sigmoid等）。
- **偏置**
作用：用于控制激活函数的容易程度
- **权重**
作用：用于控制各个信号的重要性
- **激活函数**
作用：将输入信号的总和转换成输出信号
阶跃函数：已阀值为界，一旦输入超过阀值，就切换输出，感知机中使用了阶跃函数作为激活函数
-
**损失函数**
-
**导数**
意义：导数表示的是某瞬间的变化量
- **梯度**（**Gradient**）
解释：梯度是一个**向量**，其方向指向损失函数在当前参数取值下**增长最快的方向**，梯度是所有路径的集合，梯度不是单个参数的改变量，而是所有参数变化方向的组合；梯度大小受学习率调节；小批次梯度是真实梯度的估计值。
作用：指出参数更新的最优方向，梯度告诉我们应该如何调整模型参数，才能使损失函数的值下降得最快，梯度表示的是各个点处的函数数值减小最多的方向，在深度学习中的梯度是指权重参数的梯度，利用梯度下降法学习参数。
梯度的本质：方向与大小
-
方向：梯度是一个**向量**，其方向指向损失函数在当前参数取值下**增长最快的方向**。
-
大小：梯度的模长（长度）表示损失函数在该方向上的**变化率**（陡峭程度）。
-
优化目标：为了最小化损失函数，我们需要沿着梯度的**反方向**（负梯度方向）更新参数。
梯度消失/爆炸：常见问题
-
梯度消失：深层网络中，梯度在反向传播时逐渐趋近于 0（如使用 Sigmoid 激活函数），导致浅层参数无法更新。
-
梯度爆炸：梯度值过大（如权重初始化不当），导致参数更新剧烈，模型无法收敛。
-
解决方案：ReLU 激活函数、批量归一化（BatchNorm）、梯度裁剪（Gradient Clipping）、残差连接（ResNet）等。
**一句话理解**：梯度是深度学习模型学习的"指南针"，它指出当前参数配置下，损失函数下降最快的方向。没有梯度，模型就无法自我改进。
**梯度**（即参数变化对损失的影响程度）
- **偏导数**
作用：偏导是单一路径的变化率，梯度是所有路径的集合。
- **直方图特征**
对于一些任务，如自动亮度调节或夜视系统，了解图片中的光照分布（即像素中亮或暗的部分）是很重要的。图3-9显示了示例图像的直方图。从图中可以看出，在255处有一个峰值，所以这幅图像的亮度很高。
- **边角特征**
对于图像分割这样的任务，找到每个人对应的像素集很重要，首先提取边缘是有意义的，因为一个人的边界只是边缘的集合。在其他任务中，如图像配准，对关键点的检测是至关重要的。这些关键点是图像中所有角点的子集。图3-10给出了示例图像中可以找到的边缘和角点。
- **色彩分离特征**
在汽车自动驾驶系统的交通灯检测等任务中，系统了解交通灯显示的颜色是非常重要的。
- **图像梯度特征**
更进一步来说，理解颜色在像素级上的变化可能很重要。不同的纹理可以给出不同的梯度，这意味着它们可以用作纹理检测器。事实上，找到梯度是边缘检测的先决条件。图3-12给出了示例图像中部分内容的总梯度，以及梯度的y和x分量。
- **感受野**：是指卷积神经网络中一个神经元（输出特征图上的一个点）所能"看到"的输入图像的区域大小。它描述了输出像素与输入图像哪些区域相关联，相当于神经元的视野范围。感受野随网络深度增加而扩大：浅层网络感受野小，专注提取边缘、纹理等局部特征；深层网络感受野大，能组合浅层特征识别更复杂的物体。例如，用3x3卷积核时，初始感受野为3x3，后续层通过多层卷积会覆盖更大区域。感受野的设计使CNN既能捕捉细节又能理解全局，同时通过参数共享减少计算量。
一个大的感受野可以使卷积看到输入图像上更大的像素范围，更好地理解图像的全局信息，从而提取全局特征，如物体的形状和轮廓。