PyTorch 机器学习基础(选择合适激活函数)

选择合适激活函数

激活函数在神经网络中作用有很多,主要作用是给神经网络提供非线性建模能力。如

果没有激活函数,那么再多层的神经网络也只能处理线性可分问题。常用的激活函数有

sigmoid、tanh、relu、softmax等。它们的图形、表达式、导数等信息如表5-2所示。

在搭建神经网络时,如何选择激活函数?如果搭建的神经网络层数不多,选择

sigmoid、tanh、relu、softmax都可以;而如果搭建的网络层次较多,那就需要小心,选择

不当就可导致梯度消失问题。此时一般不宜选择sigmoid、tanh激活函数,因它们的导数都

小于1,尤其是sigmoid的导数在[0,1/4]之间,多层叠加后,根据微积分链式法则,随着层

数增多,导数或偏导将指数级变小。所以层数较多的激活函数需要考虑其导数不宜小于1

当然也不能大于1,大于1将导致梯度爆炸,导数为1最好,而激活函数relu正好满足这个

条件。所以,搭建比较深的神经网络时,一般使用relu激活函数,当然一般神经网络也可

使用。此外,激活函数softmax由于∑lσl(z)=1\sum_{l} \sigma_{l}(z)=1∑lσl(z)=1

,常用于多分类神经网络输出层。

激活函数在PyTorch中使用示例:

python 复制代码
m = nn.Sigmoid()
input = torch.randn(2)
output = m(input)

激活函数输入维度与输出维度是一样的。激活函数的输入维度一般包括批量数N,即

输入数据的维度一般是4维,如(N,C,W,H)。

选择合适的损失函数

损失函数(Loss Function)在机器学习中非常重要,因为训练模型的过程实际就是优

化损失函数的过程。损失函数对每个参数的偏导数就是梯度下降中提到的梯度,防止过拟

合时添加的正则化项也是加在损失函数后面。损失函数用来衡量模型的好坏,损失函数越

小说明模型和参数越符合训练样本。任何能够衡量模型预测值与真实值之间的差异的函数

都可以叫作损失函数。在机器学习中常用的损失函数有两种,即交叉熵(Cross Entropy)和

均方误差(Mean squared error,MSE),分别对应机器学习中的分类问题和回归问题。

对分类问题的损失函数一般采用交叉熵,交叉熵反应的两个概率分布的距离(不是欧

氏距离)。分类问题进一步又可分为多目标分类,如一次要判断100张图是否包含10种动

物,或单目标分类。

回归问题预测的不是类别,而是一个任意实数。在神经网络中一般只有一个输出节

点,该输出值就是预测值。反应的预测值与实际值之间的距离可以用欧氏距离来表示,所

以对这类问题通常使用均方差作为损失函数,均方差的定义如下:

MSE=∑i=1n(yi−yi′)2n\text{MSE} = \frac{\sum_{i=1}^{n} \left( y_i - y_i' \right)^2}{n} MSE=n∑i=1n(yi−yi′)2

PyTorch中已集成多种损失函数,这里介绍两个经典的损失函数,其他损失函数基本

上是在它们的基础上的变种或延伸。

1.torch.nn.MSELoss

具体格式:

复制代码
torch.nn.MSELoss(size_average=None, reduce=None, reduction='mean')

计算公式:

ℓ(x,y)=L={l1,l2,...,lN}T,ln=(xn,yn)n \ell(x, y) = L = \left\{ l_1, l_2, \ldots, l_N \right\}^{\mathrm{T}}, \quad l_n = (x_n, y_n)^n ℓ(x,y)=L={l1,l2,...,lN}T,ln=(xn,yn)n

如果参数reduction为非None(缺省值为'mean'),则:

ℓ(x,y)={mean(L),if reduction='mean'sum(L),if reduction='sum' \ell(x, y) = \begin{cases} \text{mean}(L), & \text{if } \text{reduction} = \text{'mean'} \\ \text{sum}(L), & \text{if } \text{reduction} = \text{'sum'} \end{cases} ℓ(x,y)={mean(L),sum(L),if reduction='mean'if reduction='sum'

x和y是任意形状的张量,每个张量都有n个元素,如果reduction取'none',ℓ(x,y)\ell(x,y)ℓ(x,y) 将不是

标量;如果取'sum',则ℓ(x,y)\ell(x,y)ℓ(x,y)只是差平方的和,但不会除以n。

参数说明:

size_average、reduce在以后版本将移除,主要看参数reduction,reduction可以取

none、mean、sum,缺省值为mean。如果size_average、reduce取值,将覆盖reduction的取

值。

代码示例:

python 复制代码
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(10)

loss=nn.MSELoss(reduction='mean')
input=torch.randn(1,2,requires_grad=True)
print(input)
target=torch.randn(1,2)
print(target)
output=loss(input,target)
print(output)
output.backward()

输出结果

复制代码
tensor([[-0.6014, -1.0122]], requires_grad=True)
tensor([[-0.3023, -1.2277]])
tensor(0.0680, grad_fn=<MseLossBackward0>)

2.torch.nn.CrossEntropyLoss

交叉熵损失(Cross-Entropy Loss)又称对数似然损失(Log-likelihood Loss)、对数

损失;二分类时还可称之为逻辑回归损失(Logistic Loss)。在PyTroch里,它不是严格意

义上的交叉熵损失函数,而是先将Input经过softmax激活函数,将向量"归一化"成概率形

式,然后再与target计算严格意义上的交叉熵损失。在多分类任务中,经常采用softmax激

活函数+交叉熵损失函数,因为交叉熵描述了两个概率分布的差异,然而神经网络输出的

是向量,并不是概率分布的形式。所以需要softmax激活函数将一个向量进行"归一化"成

概率分布的形式,再采用交叉熵损失函数计算loss。

一般格式:

python 复制代码
torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean

计算公式:

loss(x,class)=−log⁡(exp⁡(x[class])∑jexp⁡(x[j]))=−x[class]+log⁡(∑jexp⁡(x[j]))\text{loss}(x, \text{class}) = -\log\left( \frac{\exp(x[\text{class}])}{\sum_j \exp(x[j])} \right) = -x[\text{class}] + \log\left( \sum_j \exp(x[j]) \right)loss(x,class)=−log(∑jexp(x[j])exp(x[class]))=−x[class]+log(j∑exp(x[j]))

符号解释:

  • loss(x,class)\text{loss}(x, \text{class})loss(x,class):针对样本 xxx 和类别 class\text{class}class 的损失函数。
  • log⁡(⋅)\log(\cdot)log(⋅):自然对数(也可写为 ln⁡(⋅)\ln(\cdot)ln(⋅),但深度学习中常省略底数默认自然对数)。
  • exp⁡(⋅)\exp(\cdot)exp(⋅):指数函数(即 e⋅e^{\cdot}e⋅)。
  • ∑j\sum_j∑j:对所有类别 jjj 求和(jjj 为遍历所有类别的索引)。
  • x[class]x[\text{class}]x[class]:样本 xxx 在"class\text{class}class"类别上的输出(如神经网络最后一层的logit值)。

如果带上权重参数weight,则:

loss(x,class)=weight[class](−x[class]+log⁡(∑jexp⁡(x[j]))) \text{loss}(x, \text{class}) = \text{weight}[\text{class}] \left( -x[\text{class}] + \log\left( \sum_j \exp(x[j]) \right) \right) loss(x,class)=weight[class](−x[class]+log(j∑exp(x[j])))

代码示例

python 复制代码
import torch
import torch.nn as nn

torch.manual_seed(10)

loss=nn.CrossEntropyLoss()
#假设类别数为5
input=torch.randn(3,5,requires_grad=True)
#每个样本对应的类别索引,其值范围为[0,4]
target=torch.empty(3,dtype=torch.long).random_(5)
output=loss(input,target)
output.backward()
相关推荐
王彦臻2 小时前
PyTorch 神经网络工具箱核心内容
人工智能·pytorch·神经网络
Monkey的自我迭代2 小时前
光流估计(可用于目标跟踪)
人工智能·opencv·计算机视觉
戴着眼镜看不清4 小时前
2025年最新开源Nano Banana Plus商业化系统本地搭建教程
人工智能·gemini·nanobanana
love530love5 小时前
EPGF 架构下的 Python 环境变量设置建议——Anaconda 路径精简后暴露 python 及工具到环境变量的配置记录 [三]
开发语言·人工智能·windows·python·架构·conda·epgf 架构
卡奥斯开源社区官方5 小时前
AI设计功能性病毒:从DNA语言模型到精准杀菌实战
人工智能·语言模型·自然语言处理
山石玉人5 小时前
lora微调大语言模型(qwen1.5-chat)
人工智能·语言模型·自然语言处理
小oo呆5 小时前
【自然语言处理与大模型】大模型应用开发四个场景
人工智能·自然语言处理
邂逅星河浪漫6 小时前
【Spring AI】Ollama大模型-智能对话实现+项目实战(Spring Boot + Vue)
java·人工智能·spring boot·vue·prompt·agent·ollama
林文韬3276 小时前
语义精炼技巧生成对抗网络(3)基于Wasserstein GAN 的特征生成
深度学习·机器学习·生成对抗网络
jwybobo20077 小时前
使用Azure OpenAI Realtime模型实现语音助理
人工智能·azure