二分类与多分类

一、任务定义与核心区别

维度 二分类 多分类(K类,K≥3)
输出空间 两个互斥类别(正/负类) K个互斥类别(如猫/狗/鸟)
输出层设计 1个神经元 + Sigmoid(概率) K个神经元 + Softmax(概率分布)
损失函数 二元交叉熵(Binary Cross-Entropy) 多元交叉熵(Categorical Cross-Entropy)
典型场景 垃圾邮件检测、疾病诊断 手写数字识别、新闻主题分类

二、模型选择与调整

1. 二分类常用模型
  • 线性模型:逻辑回归(Logistic Regression) + 正则化(L1/L2)。

  • 树模型:随机森林(Random Forest)、梯度提升树(XGBoost)------ 直接输出概率。

  • 深度学习

    • 单输出神经元 + Sigmoid。

    • 特征提取器(如CNN/BERT) + 全连接层。

2. 多分类常用模型
  • 原生多分类模型

    • 决策树、随机森林、XGBoost(直接支持多类)。

    • 深度学习:K维输出 + Softmax。

三、评估指标对比

1. 二分类指标
  • 基础指标:准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1-Score。

  • 阈值相关

    • ROC曲线(Receiver Operating Characteristic)
2. 多分类指标
  • 加权平均(Weighted):按类别样本数加权计算。

四、损失函数与输出层实现

1. 二分类实现
python 复制代码
model = nn.Sequential(
    nn.Linear(input_dim, 1),  # 单神经元输出
    nn.Sigmoid()              # 映射到[0,1]
)
loss_fn = nn.BCELoss()        # 二元交叉熵

2. 多分类实现

python 复制代码
model = nn.Sequential(
    nn.Linear(input_dim, K),  # K个神经元
    nn.Softmax(dim=1)         # 输出概率分布
)
loss_fn = nn.CrossEntropyLoss()  # 注:PyTorch的CrossEntropyLoss已含Softmax

注意

  • 标签格式:二分类用 float(如0.0/1.0),多分类用 long 型类别索引(如0,1,2...)

五、类别不平衡问题处理

1. 重采样(Resampling)
  • 过采样:对小类复制或生成合成样本(如SMOTE)。

  • 欠采样:对大类随机删除样本(可能丢失信息)。

2. 损失函数加权
  • 二分类BCEWithLogitsLoss(pos_weight=torch.tensor([10.0]))(提高正类权重)。

  • 多分类CrossEntropyLoss(weight=torch.tensor([1.0, 5.0, 3.0]))(按类别权重)。

3. 阈值调整(仅二分类)
  • 默认阈值0.5可能不最优,可通过ROC曲线选择最佳阈值。
相关推荐
AI数据皮皮侠31 分钟前
中国各省森林覆盖率等数据(2000-2023年)
大数据·人工智能·python·深度学习·机器学习
西柚小萌新2 小时前
【深入浅出PyTorch】--3.1.PyTorch组成模块1
人工智能·pytorch·python
鑫宝的学习笔记3 小时前
Vmware虚拟机联网问题,显示:线缆已拔出!!!
人工智能·ubuntu
小李独爱秋3 小时前
机器学习中的聚类理论与K-means算法详解
人工智能·算法·机器学习·支持向量机·kmeans·聚类
comli_cn4 小时前
GSPO论文阅读
论文阅读·人工智能
ruleslol4 小时前
Week09-Clustering聚类&k-mean
机器学习·聚类
大有数据可视化4 小时前
数字孪生背后的大数据技术:时序数据库为何是关键?
大数据·数据库·人工智能
Bioinfo Guy4 小时前
Genome Med|RAG-HPO做表型注释:学习一下大语言模型怎么作为发文思路
人工智能·大语言模型·多组学
张较瘦_5 小时前
[论文阅读] AI + 软件工程(Debug)| 告别 “猜 bug”:TreeMind 用 LLM+MCTS 破解 Android 不完整报告复现难题
论文阅读·人工智能·bug
深栈5 小时前
机器学习:线性回归
人工智能·pytorch·python·机器学习·线性回归·sklearn