二分类与多分类

一、任务定义与核心区别

维度 二分类 多分类(K类,K≥3)
输出空间 两个互斥类别(正/负类) K个互斥类别(如猫/狗/鸟)
输出层设计 1个神经元 + Sigmoid(概率) K个神经元 + Softmax(概率分布)
损失函数 二元交叉熵(Binary Cross-Entropy) 多元交叉熵(Categorical Cross-Entropy)
典型场景 垃圾邮件检测、疾病诊断 手写数字识别、新闻主题分类

二、模型选择与调整

1. 二分类常用模型
  • 线性模型:逻辑回归(Logistic Regression) + 正则化(L1/L2)。

  • 树模型:随机森林(Random Forest)、梯度提升树(XGBoost)------ 直接输出概率。

  • 深度学习

    • 单输出神经元 + Sigmoid。

    • 特征提取器(如CNN/BERT) + 全连接层。

2. 多分类常用模型
  • 原生多分类模型

    • 决策树、随机森林、XGBoost(直接支持多类)。

    • 深度学习:K维输出 + Softmax。

三、评估指标对比

1. 二分类指标
  • 基础指标:准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1-Score。

  • 阈值相关

    • ROC曲线(Receiver Operating Characteristic)
2. 多分类指标
  • 加权平均(Weighted):按类别样本数加权计算。

四、损失函数与输出层实现

1. 二分类实现
python 复制代码
model = nn.Sequential(
    nn.Linear(input_dim, 1),  # 单神经元输出
    nn.Sigmoid()              # 映射到[0,1]
)
loss_fn = nn.BCELoss()        # 二元交叉熵

2. 多分类实现

python 复制代码
model = nn.Sequential(
    nn.Linear(input_dim, K),  # K个神经元
    nn.Softmax(dim=1)         # 输出概率分布
)
loss_fn = nn.CrossEntropyLoss()  # 注:PyTorch的CrossEntropyLoss已含Softmax

注意

  • 标签格式:二分类用 float(如0.0/1.0),多分类用 long 型类别索引(如0,1,2...)

五、类别不平衡问题处理

1. 重采样(Resampling)
  • 过采样:对小类复制或生成合成样本(如SMOTE)。

  • 欠采样:对大类随机删除样本(可能丢失信息)。

2. 损失函数加权
  • 二分类BCEWithLogitsLoss(pos_weight=torch.tensor([10.0]))(提高正类权重)。

  • 多分类CrossEntropyLoss(weight=torch.tensor([1.0, 5.0, 3.0]))(按类别权重)。

3. 阈值调整(仅二分类)
  • 默认阈值0.5可能不最优,可通过ROC曲线选择最佳阈值。
相关推荐
新智元13 分钟前
ChatGPT「学习模式」火爆上线,一大波教育AI连夜被端!24小时导师免费用
人工智能·openai
go546315846515 分钟前
基于YOLOP与GAN的图像修复与防御系统设计与实现
人工智能·深度学习·神经网络·机器学习·生成对抗网络·矩阵
居然JuRan33 分钟前
打破常规!OpenAI无向量化RAG技术全解析
人工智能
算家计算43 分钟前
从基础到自治:Agent开发进阶全流程与实战指南
人工智能·agent
POLOAPI1 小时前
GLM-4.5 凭什么成为国产开源大模型的新标杆?深度解析来了!
人工智能·开源
AscentStream1 小时前
Apache Pulsar × AI Agent:智能系统消息基础架构初探
人工智能·开源
SparkX开源AI知识库1 小时前
Langchain4j怎么结合DeepSeek打造本地知识库
机器学习
SHIPKING3931 小时前
【机器学习&深度学习】DeepSpeed框架:高效分布式训练的开源利器
人工智能·深度学习·机器学习
竹子_231 小时前
《零基础入门AI:传统机器学习入门(从理论到Scikit-Learn实践)》
人工智能·机器学习·scikit-learn
Codebee1 小时前
OneCode3.0 框架深入研究与应用扩展
人工智能·全栈