pytorch深度学习笔记5

目录

摘要

1.常见损失函数

1.均方误差(MSE)

2.交叉熵误差

2.分类任务损失函数

1.二分类任务

2.多分类任务损失函数

3.回归任务损失函数

1.MAE

2.MSE

[3.Smooth L1](#3.Smooth L1)


摘要

本篇文章继续学习尚硅谷深度学习教程,学习内容是损失函数相关公式及适用场景和特性。

1.常见损失函数

1.均方误差(MSE)

均方误差(Mean Squared Error ,MSE),也称L2 Loss,常用于回归问题:

其中,yi表示神经网络的输出,ti表示监督数据的标签(正确的解标签),n则是数据的"维度"。对于固定维度的网络,前面的系数n不重要,因此公式有时也可以写成:

L2 Loss对异常值敏感,遇到异常值时易发生梯度爆炸。

代码如下:

python 复制代码
def mean_squared_error(y, t):
    return 0.5 * np.sum((y-t)**2)

2.交叉熵误差

除均方误差之外,交叉熵误差(Cross Entropy Error)也经常被用作损失函数,常用于分类问题

其中,log表示自然对数,yi表示神经网络的输出,ti表示正确解标签;而且,ti中只有正确解标签对应的值为1,其它均为0(one-hot表示)。

代码如下

python 复制代码
def cross_entropy_error(y, t):
    if y.ndim == 1:
        t = t.reshape(1, t.size)
        y = y.reshape(1, y.size)
        
    # 监督数据是one-hot向量的情况下,转换为正确解标签的索引
    if t.size == y.size:
        t = t.argmax(axis=1)
             
    batch_size = y.shape[0]
    return -np.sum(np.log(y[np.arange(batch_size), t] + 1e-7)) / batch_size

2.分类任务损失函数

1.二分类任务

二分类任务常用二元交叉熵损失函数(Binary Cross-Entropy Loss)

公式本身与交叉熵相似,只会取一项进行运算,一项系数为1,另一项系数为0。

2.多分类任务损失函数

多分类任务常用多类交叉熵损失函数(Categorical Cross-Entropy Loss)。它是对每个类别的预测概率与真实标签之间差异的加权平均。

3.回归任务损失函数

1.MAE

平均绝对误差(Mean Absolute Erro,MAE),也称L1 Loss:

L1 Loss对异常值稳定,但在0点处不可导。

2.MSE

均方误差(Mean Squared Error ,MSE),也称L2 Loss:

L2 Loss对异常值敏感,遇到异常值时易发生梯度爆炸。

3.Smooth L1

平滑L1:

当误差较小时 使用L2 Loss,使得损失函数平滑可导。当误差较大时 使用L1 Loss降低异常值的影响。

相关推荐
Flying Bear2 小时前
Keithley 2450 SourceMeter源表上位机开发笔记
笔记·单片机·嵌入式硬件
旖旎夜光2 小时前
【C++ 基础入门】智能指针:RAII、unique_ptr 与 shared_ptr 循环引用
c++·笔记·学习·智能指针
饮水桶_T4 小时前
Python 面向对象(十七)|继承、封装、多态 笔记
数据结构·笔记·算法
星恒随风5 小时前
MySQL 从零入门(十):MVCC、Undo Log 与 Read View 详解——InnoDB 如何实现事务隔离?
linux·数据库·笔记·sql·mysql
蒸蒸yyyyzwd6 小时前
计算机网络后端面试错题
笔记·学习
蒸蒸yyyyzwd8 小时前
数据库相关错题笔记
笔记·学习
哈尔滨张谦蛋10 小时前
兰州大学 · 甘肃省可穿戴装备重点实验室 · 2027年博士招生
人工智能·深度学习
蒸蒸yyyyzwd10 小时前
后端学习笔记,设计模式相关以及微服务相关
笔记·学习
chh56321 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
yiangL_1 天前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习