【C++】使用箱线图算法剔除数据样本中的异常值

目录

一、箱线图算法介绍

二、五数概括计算解释

三、四分位距(IQR)与异常值判定

四、箱线图在数据处理中的应用

[1. 异常值检测](#1. 异常值检测)

[2. 数据分布比较](#2. 数据分布比较)

[3. 偏态与离散程度分析](#3. 偏态与离散程度分析)

[4. 非参数数据展示](#4. 非参数数据展示)

五、箱线图的局限性

六、代码实现及注释

[七、如果这篇文章能帮助到你,请点个赞鼓励一下吧ξ( ✿>◡❛)~](#七、如果这篇文章能帮助到你,请点个赞鼓励一下吧ξ( ✿>◡❛)~)


一、箱线图算法介绍

箱线图(Boxplot)是一种基于统计学的数据可视化和数据处理工具,箱线图假设数据样本服从正态分布,通过五数概括(最小值、第一四分位数Q1、中位数Q2、第三四分位数Q3、最大值)可以进行数据统计分布和异常值检测规则。

二、五数概括计算 解释

  • 最小值(Min) :数据集中的最小值。
  • 第一四分位数(Q1) :数据排序后第25%位置的值,即25%的数据小于等于Q1。
  • 中位数(Q2) :数据排序后第50%位置的值,即50%的数据小于等于Q2。
  • 第三四分位数(Q3) :数据排序后第75%位置的值,即75%的数据小于等于Q3。
  • 最大值(Max) :数据集中的最大值。

三、四分位距(IQR)与异常值判定

  • IQR = Q3 - Q1 :表示中间50%数据的分布范围。
  • 异常值判定规则
    • 温和异常值(Mild Outliers) :位于 Q1 - 1.5×IQRQ3 + 1.5×IQR 之外的数据点。
    • 极端异常值(Extreme Outliers) :位于 Q1 - 3×IQRQ3 + 3×IQR 之外的数据点。

四、箱线图在数据处理中的应用

1. 异常值检测

  • 优势 :假设数据服从正态分布,直接通过四分位数和IQR识别异常值。
  • 场景
    • 数据清洗 :剔除或修正异常值(如传感器故障导致的极端值)。
    • 质量控制 :监测生产流程中的异常波动(如某批次产品的重量异常)。

2. 数据分布比较

  • 多组对比 :通过并列箱线图比较不同类别或时间段的数据分布。
  • 场景
    • 学生成绩分析 :比较不同班级或学科的分数分布(如数学成绩分布分散,语文成绩集中)。
    • 薪资差异分析 :对比不同地区或部门的员工薪酬水平(如北京地区中位数高于西安)。

3. 偏态与离散程度分析

  • 偏态判断
    • 若中位数接近Q1,数据右偏(长尾在右侧)。
    • 若中位数接近Q3,数据左偏(长尾在左侧)。
  • 离散程度判断
    • IQR较小:数据集中(如标准化考试成绩)。
    • IQR较大:数据分散(如用户购买金额差异大)。
  • 场景 :分析用户行为数据时,若某功能的使用时长分布右偏,可能表明部分用户过度依赖该功能。

4. 非参数数据展示

  • 适用场景 :无需假设数据分布形态,适用于非正态分布数据。
  • 优势 :相比直方图或密度图,箱线图更简洁,适合多组数据对比。

案例 :医学研究中,比较不同药物治疗组的疗效数据(非正态分布),箱线图能直观显示组间差异。

五、箱线图的局限性

1、无法显示具体分布形态:如双峰分布或复杂分布模式无法用箱线图表示。

2、只能处理符合正态分布的样本数据。

3、小样本敏感性:样本量过小时,四分位数和异常值判定可能不稳定。

4、依赖经验阈值:1.5×IQR和3×IQR的异常值判定规则是经验性标准,需结合业务背景调整。

六、代码实现及注释

cpp 复制代码
#include <iostream>
using namespace std;

typedef short int16_t;		//int16_t为嵌入式环境下变量定义关键字
typedef bool  bool_t;		

void Quick_Sort(float q[], int16_t l, int16_t r, bool_t order);					//快速排序函数前置声明

void Box_Plot(float data[], int count, float &value_Min, float &value_Max);		//箱线图算法前置声明

int main() {
    float a[] = {0.1, 0.5, 0.8, 0.86, 0.88, 0.89, 0.90};		//模拟数组样本
    float value_Min; 				//定义箱线图算法的异常数值下阈值
	float value_Max;				//定义箱线图算法的异常数值上阈值
    Box_Plot(a, 7, value_Min, value_Max);		//调用箱线图算法,计算数据样本中的上下异常阈值
	
	//计算 value_Min 和 value_Max 之后,可以在后续设计中进行数据滤波
	
    cout<<value_Min <<endl <<value_Max <<endl;
}

/*****************************************************************************
[函数名称]Box_Plot
[函数功能]箱线图算法
[参    数]data:数据样本数组;count:数组大小;value_Min:箱线图下异常阈值;value_Max:箱线图上异常阈值
[备    注]
*****************************************************************************/
void Box_Plot(float data[], int count, float &value_Min, float &value_Max)
{
    float f32Count = count;			
    int index_Q1 = (int)(f32Count/4 + 0.5);			//计算第一四分位数
    int index_Q3 = (int)(f32Count/4*3 + 0.5);		//计算第三四分位数
    float IQR = data[index_Q3] - data[index_Q1];	//计算箱线图IRQ
    value_Min = data[index_Q1] - 1.5*IQR;			//计算样本下异常阈值
    value_Max = data[index_Q3] + 1.5*IQR;			//计算样本上异常阈值
}

/*****************************************************************************
[函数名称]Quick_Sort
[函数功能]快速排序算法
[参    数]data:待排序数组;left:数组左侧起始下标;right:数组右侧结束下标;order:排序方向
[备    注]
*****************************************************************************/
void Quick_Sort(float data[], int16_t left, int16_t right, bool_t order)
{
    if (left >= right)	//递归结束条件
        return;
    int16_t i = left , j = right;
    float x = data[(i+j)>>1];
    while (i < j) {
        if (order == 1) {
            while (data[i] <= x) i++;  //正序:由小到大
            while (data[j] > x) j--;
        } else {
            while (data[i] >= x) i++;  //逆序:由大到小
            while (data[j] < x) j--;
        }

        if (i < j) {					//交换数据位置
            float swap = data[i];
            data[i] = data[j];
            data[j] = swap;
        }
    }
	//递归调用
    Quick_Sort(data, left, j-1, order), Quick_Sort(data, j + 1, right, order);
}

七、如果这篇文章能帮助到你,请点个赞鼓励一下吧ξ( ✿>◡❛)~

相关推荐
dragoooon349 分钟前
[LeetCode]每日温度
算法·leetcode·职场和发展
Morriser莫14 分钟前
贪心算法Day6学习心得
算法·贪心算法
不愧是你呀23 分钟前
Leetcode力扣解题记录--第21题(合并链表)
算法·leetcode·链表
满分观察网友z25 分钟前
树的深处,宝藏何在?——我的日志系统重构与层序遍历的奇遇记(513. 找树左下角的值)
算法
满分观察网友z28 分钟前
精准狙击:二叉树中的“左叶子”们与我的UI重构之旅(404. 左叶子之和)
算法
孟柯coding2 小时前
常见排序算法
数据结构·算法·排序算法
Point2 小时前
[LeetCode] 最长连续序列
前端·javascript·算法
是阿建吖!2 小时前
【优选算法】链表
数据结构·算法·链表
kev_gogo2 小时前
关于回归决策树CART生成算法中的最优化算法详解
算法·决策树·回归
叫我:松哥2 小时前
优秀案例:基于python django的智能家居销售数据采集和分析系统设计与实现,使用混合推荐算法和LSTM算法情感分析
爬虫·python·算法·django·lstm·智能家居·推荐算法