Pytorch中分类回归常用的损失和优化器

在机器学习和深度学习中，分类任务和预测任务（回归任务）有不同的常用损失函数和优化器。下面将详细介绍这些常用的损失函数和优化器。

分类任务

1. 损失函数

交叉熵损失（Cross-Entropy Loss）：
- 适用场景：多分类任务。
- 实现：nn.CrossEntropyLoss() 在 PyTorch 中自动计算 softmax 和交叉熵。
python 复制代码
```
criterion = nn.CrossEntropyLoss()
```
二元交叉熵损失（Binary Cross-Entropy Loss）：
- 适用场景：二分类任务。
- 实现：nn.BCELoss() 需要配合 sigmoid 激活函数，nn.BCEWithLogitsLoss() 将 sigmoid 和二元交叉熵计算合二为一。
python 复制代码
```
criterion = nn.BCEWithLogitsLoss()
```
稀疏分类交叉熵损失（Sparse Categorical Cross-Entropy Loss）：
- 适用场景：多分类任务，标签为整数索引而非 one-hot 编码。
- 实现：在 TensorFlow 中通常使用 tf.keras.losses.SparseCategoricalCrossentropy()。
python 复制代码
```
from tensorflow.keras.losses import SparseCategoricalCrossentropy
criterion = SparseCategoricalCrossentropy(from_logits=True)
```

2. 优化器

随机梯度下降（SGD）：
- 优点：简单易用，适用于一般的优化问题。
- 实现：optim.SGD()。
python 复制代码
```
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
```
自适应矩估计（Adam）：
- 优点：适应性学习率，通常能快速收敛，适用于大多数任务。
- 实现：optim.Adam()。
python 复制代码
```
optimizer = optim.Adam(model.parameters(), lr=0.001)
```
均方根传播（RMSprop）：
- 优点：适用于处理非平稳目标问题。
- 实现：optim.RMSprop()。
python 复制代码
```
optimizer = optim.RMSprop(model.parameters(), lr=0.001)
```

回归任务

1. 损失函数

均方误差（Mean Squared Error, MSE）：
- 适用场景：回归任务。
- 实现：nn.MSELoss()。
python 复制代码
```
criterion = nn.MSELoss()
```

平均绝对误差（Mean Absolute Error, MAE）：

适用场景：回归任务。
实现：在 PyTorch 中通常需要自定义实现。

python 复制代码

class MAELoss(nn.Module):
    def __init__(self):
        super(MAELoss, self).__init__()

    def forward(self, output, target):
        return torch.mean(torch.abs(output - target))
        
criterion = MAELoss()

Huber 损失：
- 优点：对异常值更鲁棒，是 MSE 和 MAE 的折中。
- 实现：nn.SmoothL1Loss()。
python 复制代码
```
criterion = nn.SmoothL1Loss()
```

2. 优化器

随机梯度下降（SGD）：
- 优点：简单易用，适用于一般的优化问题。
- 实现：optim.SGD()。
python 复制代码
```
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
```
自适应矩估计（Adam）：
- 优点：适应性学习率，通常能快速收敛，适用于大多数任务。
- 实现：optim.Adam()。
python 复制代码
```
optimizer = optim.Adam(model.parameters(), lr=0.001)
```
均方根传播（RMSprop）：
- 优点：适用于处理非平稳目标问题。
- 实现：optim.RMSprop()。
python 复制代码
```
optimizer = optim.RMSprop(model.parameters(), lr=0.001)
```

总结

分类任务通常使用交叉熵损失（针对多分类和二分类任务），优化器可以选择 SGD、Adam 或 RMSprop。
回归任务常用均方误差（MSE）和平均绝对误差（MAE），优化器也可以选择 SGD、Adam 或 RMSprop。

根据任务的具体需求和模型的表现，可以尝试不同的损失函数和优化器，选择最合适的组合。