用于不平衡医疗数据分类的主动SMOTE

一、主动学习如何应用于不平衡数据的处理

首先,主动SMOTE不是像经典的SMOTE那样从训练集中随机选择一个样本作为生成合成样本的轴心点,而是通过不确定性和多样性采样来智能地进行样本选择,这是主动学习的两种技术。

在数据不平衡的情况下,可以使用主动学习来平衡训练样本,方法是从多数类中选择最具代表性的实例,从少数类中消除噪声样本,并降低总体不平衡比率。

主动学习的主要目的是应用动态数据采样来使训练数据沿着训练过程进行进化。主要问题是我们如何选择训练集的样本?什么样的样本会提高算法性能?起初,这个问题听起来可能与不平衡类问题无关。然而,在我们的例子中,问题是:我们首先需要从少数类中选择哪些点来生成合成样本,这样我们才能最终获得良好的模型性能?

基于主动学习的SMOTE,与传统采样不一样的是,我们如何为训练集选择样本?什么样的样本会提高算法的性能?

我们需要首先从少数类中选择哪些点来生成合成样本,以便我们最终能够拥有良好的模型性能?为此,我们选择了两种抽样方法:不确定性抽样和多样性抽样。

二、不确定性抽样

不确定性抽样是一组技术,用于识别决策边界附近具有最高不确定性的最低置信度样本,以插入新的训练样本。

测量不确定性的方法有很多,比如最小值、置信度和熵。

三、多样性抽样

它不同于单纯关注存在不确定性的边界样本(如不确定性采样所做的),而是选择彼此不同或差异较大的样本。

这种方法可以帮助识别模型在某些区域的知识盲区,因为这些区域缺乏足够的代表性样本。

相比于只选择靠近决策边界的样本,多样性采样会选择那些与现有训练数据不同的样本。这有助于减少现实世界中的采样偏差,让模型能更好地概括到未知区域。

多样性采样的选择与不确定性采样的选择是不同的。前者选择的样本彼此差异较大,而后者更关注位于决策边界附近的样本。

四、主动SMOTE

主动SMOTE旨在将SMOTE与主动学习相结合。

换句话说,我们不是从训练集中随机选择一个点作为生成合成样本的枢轴点,而是使用不确定性和多样性采样智能地选择点。

实际上,我们可以说新提出的算法有两个主要阶段。不确定性采样阶段和多样性采样阶段。

4.1、不确定性采样阶段

①首先,算法会训练一个机器学习模型,使用全部的训练数据。

②然后,算法会计算所有少数类样本属于少数类的概率。

③接下来,算法会根据某种不确定性度量来计算模型对这些少数类样本的预测不确定性。常用的不确定性度量有:

置信度边界(Margin):预测概率差值越小,说明模型越不确定。

熵(Entropy):预测概率分布越均匀,说明模型越不确定。

④ 最后,算法会选择一定比例的最不确定的少数类样本,这个比例是一个超参数

4.2、多样性采样阶段

多样性抽样阶段的目的是对所选的最不确定的样本进行多样性抽样。

首先,我们使用K-means将最不确定的项目划分为k个聚类

然后从每个聚类中分层抽样。k簇的数量是一个需要调整的超参数,以及我们将从每个簇中选择的项目数量。我们选择K-means作为聚类方法,因为它是最常用的聚类策略。

创新点:比较其他聚类方法优劣

4.3、算法流程

相关推荐
qzhqbb1 小时前
基于统计方法的语言模型
人工智能·语言模型·easyui
冷眼看人间恩怨1 小时前
【话题讨论】AI大模型重塑软件开发:定义、应用、优势与挑战
人工智能·ai编程·软件开发
2401_883041081 小时前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
AI极客菌2 小时前
Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。
人工智能·计算机视觉·ai作画·stable diffusion·aigc·flux·人工智能作画
阿_旭2 小时前
一文读懂| 自注意力与交叉注意力机制在计算机视觉中作用与基本原理
人工智能·深度学习·计算机视觉·cross-attention·self-attention
王哈哈^_^2 小时前
【数据集】【YOLO】【目标检测】交通事故识别数据集 8939 张,YOLO道路事故目标检测实战训练教程!
前端·人工智能·深度学习·yolo·目标检测·计算机视觉·pyqt
Power20246663 小时前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k3 小时前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫3 小时前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法
沉下心来学鲁班4 小时前
复现LLM:带你从零认识语言模型
人工智能·语言模型