PyTorch 机器学习基础(选择合适激活函数)

选择合适激活函数

激活函数在神经网络中作用有很多,主要作用是给神经网络提供非线性建模能力。如

果没有激活函数,那么再多层的神经网络也只能处理线性可分问题。常用的激活函数有

sigmoid、tanh、relu、softmax等。它们的图形、表达式、导数等信息如表5-2所示。

在搭建神经网络时,如何选择激活函数?如果搭建的神经网络层数不多,选择

sigmoid、tanh、relu、softmax都可以;而如果搭建的网络层次较多,那就需要小心,选择

不当就可导致梯度消失问题。此时一般不宜选择sigmoid、tanh激活函数,因它们的导数都

小于1,尤其是sigmoid的导数在[0,1/4]之间,多层叠加后,根据微积分链式法则,随着层

数增多,导数或偏导将指数级变小。所以层数较多的激活函数需要考虑其导数不宜小于1

当然也不能大于1,大于1将导致梯度爆炸,导数为1最好,而激活函数relu正好满足这个

条件。所以,搭建比较深的神经网络时,一般使用relu激活函数,当然一般神经网络也可

使用。此外,激活函数softmax由于∑lσl(z)=1\sum_{l} \sigma_{l}(z)=1∑lσl(z)=1

,常用于多分类神经网络输出层。

激活函数在PyTorch中使用示例:

python 复制代码
m = nn.Sigmoid()
input = torch.randn(2)
output = m(input)

激活函数输入维度与输出维度是一样的。激活函数的输入维度一般包括批量数N,即

输入数据的维度一般是4维,如(N,C,W,H)。

选择合适的损失函数

损失函数(Loss Function)在机器学习中非常重要,因为训练模型的过程实际就是优

化损失函数的过程。损失函数对每个参数的偏导数就是梯度下降中提到的梯度,防止过拟

合时添加的正则化项也是加在损失函数后面。损失函数用来衡量模型的好坏,损失函数越

小说明模型和参数越符合训练样本。任何能够衡量模型预测值与真实值之间的差异的函数

都可以叫作损失函数。在机器学习中常用的损失函数有两种,即交叉熵(Cross Entropy)和

均方误差(Mean squared error,MSE),分别对应机器学习中的分类问题和回归问题。

对分类问题的损失函数一般采用交叉熵,交叉熵反应的两个概率分布的距离(不是欧

氏距离)。分类问题进一步又可分为多目标分类,如一次要判断100张图是否包含10种动

物,或单目标分类。

回归问题预测的不是类别,而是一个任意实数。在神经网络中一般只有一个输出节

点,该输出值就是预测值。反应的预测值与实际值之间的距离可以用欧氏距离来表示,所

以对这类问题通常使用均方差作为损失函数,均方差的定义如下:

MSE=∑i=1n(yi−yi′)2n\text{MSE} = \frac{\sum_{i=1}^{n} \left( y_i - y_i' \right)^2}{n} MSE=n∑i=1n(yi−yi′)2

PyTorch中已集成多种损失函数,这里介绍两个经典的损失函数,其他损失函数基本

上是在它们的基础上的变种或延伸。

1.torch.nn.MSELoss

具体格式:

复制代码
torch.nn.MSELoss(size_average=None, reduce=None, reduction='mean')

计算公式:

ℓ(x,y)=L={l1,l2,...,lN}T,ln=(xn,yn)n \ell(x, y) = L = \left\{ l_1, l_2, \ldots, l_N \right\}^{\mathrm{T}}, \quad l_n = (x_n, y_n)^n ℓ(x,y)=L={l1,l2,...,lN}T,ln=(xn,yn)n

如果参数reduction为非None(缺省值为'mean'),则:

ℓ(x,y)={mean(L),if reduction='mean'sum(L),if reduction='sum' \ell(x, y) = \begin{cases} \text{mean}(L), & \text{if } \text{reduction} = \text{'mean'} \\ \text{sum}(L), & \text{if } \text{reduction} = \text{'sum'} \end{cases} ℓ(x,y)={mean(L),sum(L),if reduction='mean'if reduction='sum'

x和y是任意形状的张量,每个张量都有n个元素,如果reduction取'none',ℓ(x,y)\ell(x,y)ℓ(x,y) 将不是

标量;如果取'sum',则ℓ(x,y)\ell(x,y)ℓ(x,y)只是差平方的和,但不会除以n。

参数说明:

size_average、reduce在以后版本将移除,主要看参数reduction,reduction可以取

none、mean、sum,缺省值为mean。如果size_average、reduce取值,将覆盖reduction的取

值。

代码示例:

python 复制代码
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(10)

loss=nn.MSELoss(reduction='mean')
input=torch.randn(1,2,requires_grad=True)
print(input)
target=torch.randn(1,2)
print(target)
output=loss(input,target)
print(output)
output.backward()

输出结果

复制代码
tensor([[-0.6014, -1.0122]], requires_grad=True)
tensor([[-0.3023, -1.2277]])
tensor(0.0680, grad_fn=<MseLossBackward0>)

2.torch.nn.CrossEntropyLoss

交叉熵损失(Cross-Entropy Loss)又称对数似然损失(Log-likelihood Loss)、对数

损失;二分类时还可称之为逻辑回归损失(Logistic Loss)。在PyTroch里,它不是严格意

义上的交叉熵损失函数,而是先将Input经过softmax激活函数,将向量"归一化"成概率形

式,然后再与target计算严格意义上的交叉熵损失。在多分类任务中,经常采用softmax激

活函数+交叉熵损失函数,因为交叉熵描述了两个概率分布的差异,然而神经网络输出的

是向量,并不是概率分布的形式。所以需要softmax激活函数将一个向量进行"归一化"成

概率分布的形式,再采用交叉熵损失函数计算loss。

一般格式:

python 复制代码
torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean

计算公式:

loss(x,class)=−log⁡(exp⁡(x[class])∑jexp⁡(x[j]))=−x[class]+log⁡(∑jexp⁡(x[j]))\text{loss}(x, \text{class}) = -\log\left( \frac{\exp(x[\text{class}])}{\sum_j \exp(x[j])} \right) = -x[\text{class}] + \log\left( \sum_j \exp(x[j]) \right)loss(x,class)=−log(∑jexp(x[j])exp(x[class]))=−x[class]+log(j∑exp(x[j]))

符号解释:

  • loss(x,class)\text{loss}(x, \text{class})loss(x,class):针对样本 xxx 和类别 class\text{class}class 的损失函数。
  • log⁡(⋅)\log(\cdot)log(⋅):自然对数(也可写为 ln⁡(⋅)\ln(\cdot)ln(⋅),但深度学习中常省略底数默认自然对数)。
  • exp⁡(⋅)\exp(\cdot)exp(⋅):指数函数(即 e⋅e^{\cdot}e⋅)。
  • ∑j\sum_j∑j:对所有类别 jjj 求和(jjj 为遍历所有类别的索引)。
  • x[class]x[\text{class}]x[class]:样本 xxx 在"class\text{class}class"类别上的输出(如神经网络最后一层的logit值)。

如果带上权重参数weight,则:

loss(x,class)=weight[class](−x[class]+log⁡(∑jexp⁡(x[j]))) \text{loss}(x, \text{class}) = \text{weight}[\text{class}] \left( -x[\text{class}] + \log\left( \sum_j \exp(x[j]) \right) \right) loss(x,class)=weight[class](−x[class]+log(j∑exp(x[j])))

代码示例

python 复制代码
import torch
import torch.nn as nn

torch.manual_seed(10)

loss=nn.CrossEntropyLoss()
#假设类别数为5
input=torch.randn(3,5,requires_grad=True)
#每个样本对应的类别索引,其值范围为[0,4]
target=torch.empty(3,dtype=torch.long).random_(5)
output=loss(input,target)
output.backward()
相关推荐
盼小辉丶8 小时前
PyTorch生成式人工智能(29)——基于Transformer生成音乐
人工智能·深度学习·transformer
即兴小索奇9 小时前
AI智能金融风控新实践:从信贷秒批到支付防护,筑牢金融安全新屏障
人工智能·ai·商业·ai商业洞察·即兴小索奇
AKAMAI9 小时前
应用平台更新:可定制目录、基于Git的密钥管理与K8s项目自动化管理
人工智能·云原生·云计算
机器之心9 小时前
NeurIPS 2025:高分论文也可能被拒,只为保住那25%左右的接收率?
人工智能·openai
余衫马9 小时前
ModelScope 开发环境配置指南
人工智能
aneasystone本尊9 小时前
GraphRAG 索引构建之知识提取(三)
人工智能
前端双越老师10 小时前
AI 编程实践 VSCode + Copilot 从 0 开发 Chatbot 页面
人工智能·agent·ai编程
胖墩会武术10 小时前
【PyTorch项目实战】SAM(Segment Anything Model) —— 致力于建立第一个图像分割基础模型
人工智能·pytorch·python·sam
度假的小鱼10 小时前
004 解构 NLP 框架体系:从经典工具到新一代技术方案
人工智能·自然语言处理