二分类与多分类

一、任务定义与核心区别

维度 二分类 多分类(K类,K≥3)
输出空间 两个互斥类别(正/负类) K个互斥类别(如猫/狗/鸟)
输出层设计 1个神经元 + Sigmoid(概率) K个神经元 + Softmax(概率分布)
损失函数 二元交叉熵(Binary Cross-Entropy) 多元交叉熵(Categorical Cross-Entropy)
典型场景 垃圾邮件检测、疾病诊断 手写数字识别、新闻主题分类

二、模型选择与调整

1. 二分类常用模型
  • 线性模型:逻辑回归(Logistic Regression) + 正则化(L1/L2)。

  • 树模型:随机森林(Random Forest)、梯度提升树(XGBoost)------ 直接输出概率。

  • 深度学习

    • 单输出神经元 + Sigmoid。

    • 特征提取器(如CNN/BERT) + 全连接层。

2. 多分类常用模型
  • 原生多分类模型

    • 决策树、随机森林、XGBoost(直接支持多类)。

    • 深度学习:K维输出 + Softmax。

三、评估指标对比

1. 二分类指标
  • 基础指标:准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1-Score。

  • 阈值相关

    • ROC曲线(Receiver Operating Characteristic)
2. 多分类指标
  • 加权平均(Weighted):按类别样本数加权计算。

四、损失函数与输出层实现

1. 二分类实现
python 复制代码
model = nn.Sequential(
    nn.Linear(input_dim, 1),  # 单神经元输出
    nn.Sigmoid()              # 映射到[0,1]
)
loss_fn = nn.BCELoss()        # 二元交叉熵

2. 多分类实现

python 复制代码
model = nn.Sequential(
    nn.Linear(input_dim, K),  # K个神经元
    nn.Softmax(dim=1)         # 输出概率分布
)
loss_fn = nn.CrossEntropyLoss()  # 注:PyTorch的CrossEntropyLoss已含Softmax

注意

  • 标签格式:二分类用 float(如0.0/1.0),多分类用 long 型类别索引(如0,1,2...)

五、类别不平衡问题处理

1. 重采样(Resampling)
  • 过采样:对小类复制或生成合成样本(如SMOTE)。

  • 欠采样:对大类随机删除样本(可能丢失信息)。

2. 损失函数加权
  • 二分类BCEWithLogitsLoss(pos_weight=torch.tensor([10.0]))(提高正类权重)。

  • 多分类CrossEntropyLoss(weight=torch.tensor([1.0, 5.0, 3.0]))(按类别权重)。

3. 阈值调整(仅二分类)
  • 默认阈值0.5可能不最优,可通过ROC曲线选择最佳阈值。
相关推荐
CHANG_THE_WORLD7 分钟前
封装一个png的编码解码操作
图像处理·人工智能·计算机视觉
赛丽曼21 分钟前
Assistant API的原理及应用
人工智能·chatgpt
Yo_Becky1 小时前
【PyTorch】PyTorch预训练模型缓存位置迁移,也可拓展应用于其他文件的迁移
人工智能·pytorch·经验分享·笔记·python·程序人生·其他
DeepSeek-大模型系统教程1 小时前
深入金融与多模态场景实战:金融文档分块技术与案例汇总
人工智能·ai·语言模型·程序员·大模型·大模型学习·大模型教程
xinxiangwangzhi_1 小时前
pytorch底层原理学习--PyTorch 架构梳理
人工智能·pytorch·架构
yzx9910131 小时前
关于网络协议
网络·人工智能·python·网络协议
AiTEN_Robot1 小时前
AGV 无人叉车关键技术问题解析:精准定位算法 / 安全避障逻辑 / 系统对接协议全方案
人工智能·机器人·自动化·制造
云天徽上1 小时前
【PaddleOCR】OCR常见关键信息抽取数据集,包含FUNSD、XFUND、WildReceipt等整理,持续更新中......
人工智能·计算机视觉·信息可视化·paddlepaddle·paddleocr·文本识别
zskj_zhyl1 小时前
智绅科技:以科技为翼,构建养老安全守护网
人工智能·科技·安全
刘海东刘海东1 小时前
结构型智能科技的关键可行性——信息型智能向结构型智能的转换(提纲)
人工智能