卷积神经网络学习问题总结

CanCanCanedFish2024-07-18 12:24

问题一：深度学习中的损失函数和应用场景

均方误差函数（MSE）适用于回归任务，如预测房价、预测股票价格等。

python 复制代码

import torch.nn as nn  
loss_fn = nn.MSELoss()

交叉熵损失函数（Cross-Entropy Loss）适用于分类任务，如图像分类、文本分类等。对于多分类问题，该损失函数可与Softmax激活函数结合使用。

python 复制代码

import torch.nn as nn  
loss_fn = nn.CrossEntropyLoss()

二元交叉熵损失函数（Binary Cross-Entropy Loss）适用于二分类问题，如预测是否为垃圾邮件、预测股票涨跌等。对于二分类问题，该损失函数可与Sigmoid激活函数结合使用。

python 复制代码

import torch.nn as nn  
loss_fn = nn.BCELoss()

灰色部分为卷积核权重

白色部分为空，值为0

dilation rate：空洞率

权重值的间隔为dilation rate - 1

例：m = 3, p = 0, s = 1时

（m表示卷积核大小，p 表示零填充大小（zero-padding）， s 表示步长（stride），d表示空洞率（dilation））

若d=1：

若d=2：

优点：在不增加参数的情况下增大感受野，适用于图片size较大，或需要快速感受全局信息的情况。

通过设置不同的dilation rate捕获多尺度上下文信息，适用于需要捕获图片的多层次的情况，如语义分割等。

问题：存在网格效应，远距离点之间的信息可能不相关。

解决办法：HDC

一、叠加卷积的 dilation rate 不能有大于1的公约数。如 $2, 4, 6$ 则不是一个好的三层卷积，依然会出现 gridding effect。解决网格效应

二、将 dilation rate 设计成锯齿状结构，例如 $1, 2, 5, 1, 2, 5$ 循环结构。同时捕获远近信息

三、满足：

最常用：

反向传播路径太长，训练难度增加

问题：

若卷积后的结果与输入X的shape不同，则不能直接相加

当步长不为1，图片大小发生变化

当通道数与输入通道不同，图片通道数发生变化

解决：

使用一个1x1的卷积核来改变X的shape，使得其能与卷积后的结果shape相匹配（不知道^ ^

残差模型VS等深卷积：