文章目录
回归问题和分类问题
回归问题：
回归问题是一种预测连续数值输出的任务。在这种问题中，模型的目标是根据输入特征预测出一个连续值。举例来说，回归问题可以包括预测房屋价格、销售量、温度、股票价格等。回归模型的输出是一个连续的实数或浮点数。
在回归问题中，我们需要训练模型使其学习从输入特征到输出连续值之间的映射关系。
为了评估回归模型的性能，通常使用各种评估指标，例如均方误差 (Mean Squared Error, MSE)、均方根误差 (Root Mean Squared Error, RMSE)、平均绝对误差 (Mean Absolute Error, MAE) 等。这些指标用于衡量模型的预测与真实连续标签之间的差异。
- 均方误差 (Mean Squared Error, MSE)：适用于回归问题，衡量预测值与真实值之间的平方差异，定义为预测值与真实值之差的平方的均值。
- 平均绝对误差 (Mean Absolute Error, MAE)：也适用于回归问题，衡量预测值与真实值之间的绝对差异，定义为预测值与真实值之差的绝对值的均值。
分类问题：
分类问题是一种预测离散标签或类别的任务。在分类问题中，模型的目标是将输入映射到预定义的类别或标签中。例如，将电子邮件分类为"垃圾邮件"或"非垃圾邮件"，将图像分类为"猫"或"狗"等。分类模型的输出是离散的类别。
分类问题可以进一步分为二分类和多分类。在二分类中，模型需要将输入分为两个类别，而在多分类中，模型需要将输入分为多个类别。
- 交叉熵损失函数 (Cross-Entropy Loss)：适用于二分类问题，特别是在使用逻辑回归或神经网络进行二分类时。它度量预测概率与真实标签之间的差异。常见的交叉熵损失函数有二元交叉熵损失 (Binary Cross-Entropy Loss) 和对数损失 (Log Loss)。
总结：
- 回归问题用于预测连续数值输出。
- 分类问题用于预测离散标签或类别输出。
- 回归问题的输出是连续值，分类问题的输出是离散类别。
- 回归问题使用不同的评估指标（例如MSE、RMSE），而分类问题使用准确率、精确率、召回率等指标。
在机器学习中，选择适当的损失函数是非常重要的，它直接影响到模型的训练和性能。损失函数用于度量模型的预测与真实标签之间的差异，模型的目标是通过最小化损失函数来提高预测的准确性。下面是一些常见的损失函数，它们适用于不同类型的任务：
多分类问题：
- 交叉熵损失函数 (Cross-Entropy Loss)：同样适用于多分类问题。在多分类中，交叉熵损失函数用于度量预测的概率分布与真实标签的分布之间的差异。常见的多分类交叉熵损失函数有分类交叉熵损失 (Categorical Cross-Entropy Loss) 和稀疏分类交叉熵损失 (Sparse Categorical Cross-Entropy Loss)。
排序问题：
- 排序损失函数 (Ranking Loss)：适用于排序问题，例如在搜索引擎中优化搜索结果的排序。常见的排序损失函数有排名SVM损失和排序的softmax损失。
自定义损失函数：
- 在某些情况下，特定任务可能需要定制的损失函数。根据任务的需求，可以定义适合特定问题的损失函数。