二分类与多分类

一、任务定义与核心区别

维度 二分类 多分类(K类,K≥3)
输出空间 两个互斥类别(正/负类) K个互斥类别(如猫/狗/鸟)
输出层设计 1个神经元 + Sigmoid(概率) K个神经元 + Softmax(概率分布)
损失函数 二元交叉熵(Binary Cross-Entropy) 多元交叉熵(Categorical Cross-Entropy)
典型场景 垃圾邮件检测、疾病诊断 手写数字识别、新闻主题分类

二、模型选择与调整

1. 二分类常用模型
  • 线性模型:逻辑回归(Logistic Regression) + 正则化(L1/L2)。

  • 树模型:随机森林(Random Forest)、梯度提升树(XGBoost)------ 直接输出概率。

  • 深度学习

    • 单输出神经元 + Sigmoid。

    • 特征提取器(如CNN/BERT) + 全连接层。

2. 多分类常用模型
  • 原生多分类模型

    • 决策树、随机森林、XGBoost(直接支持多类)。

    • 深度学习:K维输出 + Softmax。

三、评估指标对比

1. 二分类指标
  • 基础指标:准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1-Score。

  • 阈值相关

    • ROC曲线(Receiver Operating Characteristic)
2. 多分类指标
  • 加权平均(Weighted):按类别样本数加权计算。

四、损失函数与输出层实现

1. 二分类实现
python 复制代码
model = nn.Sequential(
    nn.Linear(input_dim, 1),  # 单神经元输出
    nn.Sigmoid()              # 映射到[0,1]
)
loss_fn = nn.BCELoss()        # 二元交叉熵

2. 多分类实现

python 复制代码
model = nn.Sequential(
    nn.Linear(input_dim, K),  # K个神经元
    nn.Softmax(dim=1)         # 输出概率分布
)
loss_fn = nn.CrossEntropyLoss()  # 注:PyTorch的CrossEntropyLoss已含Softmax

注意

  • 标签格式:二分类用 float(如0.0/1.0),多分类用 long 型类别索引(如0,1,2...)

五、类别不平衡问题处理

1. 重采样(Resampling)
  • 过采样:对小类复制或生成合成样本(如SMOTE)。

  • 欠采样:对大类随机删除样本(可能丢失信息)。

2. 损失函数加权
  • 二分类BCEWithLogitsLoss(pos_weight=torch.tensor([10.0]))(提高正类权重)。

  • 多分类CrossEntropyLoss(weight=torch.tensor([1.0, 5.0, 3.0]))(按类别权重)。

3. 阈值调整(仅二分类)
  • 默认阈值0.5可能不最优,可通过ROC曲线选择最佳阈值。
相关推荐
千禧皓月32 分钟前
【Diffusion Model】发展历程
人工智能·深度学习·diffusion model·1024程序员节
猫头虎1 小时前
大模型训练中的关键技术与挑战:数据采集、微调与资源优化
人工智能·爬虫·数据挖掘·数据分析·网络爬虫·aigc·1024程序员节
yanxing.D1 小时前
penCV轻松入门_面向python(第七章 图像平滑处理)
图像处理·人工智能·opencv·计算机视觉
骥龙2 小时前
1.1、开篇:AI如何重塑网络安全攻防格局?
人工智能·安全·web安全
微学AI2 小时前
国产数据库替代MongoDB的技术实践过程:金仓多模数据库在电子证照系统中的深度应用
数据库·人工智能·1024程序员节
gddkxc2 小时前
AI驱动的客户管理:悟空AI CRM的核心功能与优势
人工智能
sensen_kiss3 小时前
INT301 Bio-computation 生物计算(神经网络)Pt.2 监督学习模型:感知器(Perceptron)
神经网络·学习·机器学习
狂奔solar3 小时前
Apple 开源FastVLM:AI看图说话更快更准
人工智能
星空的资源小屋3 小时前
Antares SQL,一款跨平台开源 SQL 客户端
数据库·人工智能·pdf·开源·电脑·excel·1024程序员节