深度学习(二)-损失函数+梯度下降

损失函数

损失函数(Loss Function),也有称之为代价函数(Cost Function),用来度量预测值和实际值之间的差异。

损失函数的作用

  • 度量决策函数f(x)和实际值之间的差异。
  • 作为模型性能参考。损失函数值越小,说明预测输出和实际结果(也称期望 输出)之间的差值就越小,也就说明我们构建的模型越好。学习的过程,就 是不断通过训练数据进行预测,不断调整预测输出与实际输出差异,使的损失值最小的过程。

常用损失函数

均方误差

均方误差(Mean square error)损失函数。均方误差是 回归问题常用的损失函数 ,它是预测值与目标值之间差值的平方和,其公式和图像如下所示:
为什么使用误差的平方
• 曲线的最低点是可导的
• 越接近最低点,曲线的坡度逐渐放缓,有助于通过当前的梯度来判断接近最低点的程 度(是否逐渐减少步长,以免错过最低点)

交叉熵

交叉熵(Cross Entropy)。交叉熵是Shannon信息论中一个重要概念,主要用于度量两个概率分布间的差异性信息,在机器学习中用来作为分类问题的损失函数。假设有两个概率分布,tk与yk ,其交叉熵函数公式及图形如下所示:

模拟计算交叉熵

python 复制代码
import numpy as np

y_true =  [0  ,0  ,0  ,1  ,0]
pred_y1 = [0.1,0.1,0.1,0.6,0.1]
pred_y2 = [0.1,0.1,0.05,0.7,0.05]
pred_y3 = [0.01,0.02,0.03,0.8,0.05]


total1,total2,total3 = 0,0,0 
for i in range(len(y_true)):
    total1 += y_true[i] * np.log(pred_y1[i])
    total2 += y_true[i] * np.log(pred_y2[i])
    total3 += y_true[i] * np.log(pred_y3[i])

total1,total2,total3 = -total1,-total2,-total3 

print('交叉熵1:',total1)
print('交叉熵2:',total2)
print('交叉熵3:',total3)


注意:交叉熵越小越好

梯度下降

梯度(gradient)是一个向量(矢量,有方向),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大。损失函数沿梯度相反方向收敛最快(即能最快找到极值点)。当梯度向量为零(或接近于零),说明损失函数到达一个极小值点,模型准确度达到一个极大值点。

通过损失函数,我们将"寻找最优参数"问题,转换为了"寻找损失函数 最小值"问题。
寻找步骤:
(1)损失是否足够小?如果不是,计算损失函数的梯度。
(2)按梯度的反方向走一小步,以缩小损失。
(3)循环到(1)。
这种按照负梯度不停地调整函数权值的过程就叫作" 梯度下降法 "。通过这样的方法, 改变每个神经元与其他神经元的连接权重及自身的偏置,让损失函数的值下降得更快, 进而将值收敛到损失函数的某个极小值。

导数

所谓导数,就是用来分析函数"变化率"的一种度量。其公式为:

导数的含义:反映变化的剧烈程度(变化率)

偏导数

"偏导"的英文本意是"partial derivatives"(表示局部导数)。对于多维变量函数而言,当求某个变量的导数时,就是把其他变量视为常量,然后对整个函数求其导数 (相比于全部变量,这里只求一个变量,即为"局部")。例如有函数:

学习率

学习率是梯度下降过程中,在梯度值前面的系数,用来控制调整的步幅大小

梯度递减训练法则

神经网络中的权值参数是非常多的,因此针对损失函数E的权值向量的梯度如以下公 式所示:

注意中间是恒等于。

批量梯度下降

批量梯度下降法(Batch Gradient Descent,BGD)是最原始的形式,它是指在每一次迭代时使用所有样本来进行梯度的更新。

  • 优点:
  1. 一次迭代是对所有样本进行计算,此时利用矩阵进行操作,实现了并行。
  2. 由全数据集确定的方向能够更好地代表样本总体,从而更准确地朝向极值所在的方向。 当目标函数为凸函数时,BGD一定能够得到全局最优。
  • 缺点:
  1. 当样本数目 m 很大时,每迭代一步都需要对所有样本计算,训练过程会很慢。
随机梯度下降

随机梯度下降法(Stochastic Gradient Descent,SGD)每次迭代使用一个样本来对参数进行更新,使得训练速度加快。

  • 优点:
  1. 由于不是在全部训练数据上的损失函数,而是在每轮迭代中,随机优化某一条训练数据上的损失函数,这样每一轮参数的更新速度大大加快。
  • 缺点:
  1. 准确度下降。由于即使在目标函数为强凸函数的情况下,SGD仍旧无法做到线性收敛。
  2. 可能会收敛到局部最优,由于单个样本并不能代表全体样本的趋势。
  3. 不易于并行实现。
小批量梯度下降

小批量梯度下降(Mini-Batch Gradient Descent, MBGD)是对批量梯度下降以及随 机梯度下降的一个折中办法。其思想是:每次迭代 使用指定个(batch_size)样本来对 参数进行更新。

  • 优点:
  1. 通过矩阵运算,每次在一个batch上优化神经网络参数并不会比单个数据慢太多。
  2. 每次使用一个batch可以大大减小收敛所需要的迭代次数,同时可以使收敛到的结果更加接近梯度下降的效果。
  • 缺点:
  1. batch_size的不当选择可能会带来一些问题。
几种梯度下降算法收敛比较
  • 批量梯度下降稳健地向着最低点前进 的
  • 随机梯度下降震荡明显,但总体上向最低点逼近
  • 小批量梯度下降位于两者之间
相关推荐
青松@FasterAI32 分钟前
【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)
人工智能·自然语言处理
AIGC大时代1 小时前
高效使用DeepSeek对“情境+ 对象 +问题“型课题进行开题!
数据库·人工智能·算法·aigc·智能写作·deepseek
硅谷秋水1 小时前
GAIA-2:用于自动驾驶的可控多视图生成世界模型
人工智能·机器学习·自动驾驶
多巴胺与内啡肽.1 小时前
深度学习--自然语言处理统计语言与神经语言模型
深度学习·语言模型·自然语言处理
偶尔微微一笑1 小时前
AI网络渗透kali应用(gptshell)
linux·人工智能·python·自然语言处理·编辑器
深度之眼1 小时前
2025时间序列都有哪些创新点可做——总结篇
人工智能·深度学习·机器学习·时间序列
晓数2 小时前
【硬核干货】JetBrains AI Assistant 干货笔记
人工智能·笔记·jetbrains·ai assistant
jndingxin2 小时前
OpenCV 图形API(60)颜色空间转换-----将图像从 YUV 色彩空间转换为 RGB 色彩空间函数YUV2RGB()
人工智能·opencv·计算机视觉
Sherlock Ma2 小时前
PDFMathTranslate:基于LLM的PDF文档翻译及双语对照的工具【使用教程】
人工智能·pytorch·语言模型·pdf·大模型·机器翻译·deepseek
知舟不叙2 小时前
OpenCV中的SIFT特征提取
人工智能·opencv·计算机视觉