【C++】使用箱线图算法剔除数据样本中的异常值

目录

一、箱线图算法介绍

二、五数概括计算解释

三、四分位距(IQR)与异常值判定

四、箱线图在数据处理中的应用

[1. 异常值检测](#1. 异常值检测)

[2. 数据分布比较](#2. 数据分布比较)

[3. 偏态与离散程度分析](#3. 偏态与离散程度分析)

[4. 非参数数据展示](#4. 非参数数据展示)

五、箱线图的局限性

六、代码实现及注释

[七、如果这篇文章能帮助到你,请点个赞鼓励一下吧ξ( ✿>◡❛)~](#七、如果这篇文章能帮助到你,请点个赞鼓励一下吧ξ( ✿>◡❛)~)


一、箱线图算法介绍

箱线图(Boxplot)是一种基于统计学的数据可视化和数据处理工具,箱线图假设数据样本服从正态分布,通过五数概括(最小值、第一四分位数Q1、中位数Q2、第三四分位数Q3、最大值)可以进行数据统计分布和异常值检测规则。

二、五数概括计算 解释

  • 最小值(Min) :数据集中的最小值。
  • 第一四分位数(Q1) :数据排序后第25%位置的值,即25%的数据小于等于Q1。
  • 中位数(Q2) :数据排序后第50%位置的值,即50%的数据小于等于Q2。
  • 第三四分位数(Q3) :数据排序后第75%位置的值,即75%的数据小于等于Q3。
  • 最大值(Max) :数据集中的最大值。

三、四分位距(IQR)与异常值判定

  • IQR = Q3 - Q1 :表示中间50%数据的分布范围。
  • 异常值判定规则
    • 温和异常值(Mild Outliers) :位于 Q1 - 1.5×IQRQ3 + 1.5×IQR 之外的数据点。
    • 极端异常值(Extreme Outliers) :位于 Q1 - 3×IQRQ3 + 3×IQR 之外的数据点。

四、箱线图在数据处理中的应用

1. 异常值检测

  • 优势 :假设数据服从正态分布,直接通过四分位数和IQR识别异常值。
  • 场景
    • 数据清洗 :剔除或修正异常值(如传感器故障导致的极端值)。
    • 质量控制 :监测生产流程中的异常波动(如某批次产品的重量异常)。

2. 数据分布比较

  • 多组对比 :通过并列箱线图比较不同类别或时间段的数据分布。
  • 场景
    • 学生成绩分析 :比较不同班级或学科的分数分布(如数学成绩分布分散,语文成绩集中)。
    • 薪资差异分析 :对比不同地区或部门的员工薪酬水平(如北京地区中位数高于西安)。

3. 偏态与离散程度分析

  • 偏态判断
    • 若中位数接近Q1,数据右偏(长尾在右侧)。
    • 若中位数接近Q3,数据左偏(长尾在左侧)。
  • 离散程度判断
    • IQR较小:数据集中(如标准化考试成绩)。
    • IQR较大:数据分散(如用户购买金额差异大)。
  • 场景 :分析用户行为数据时,若某功能的使用时长分布右偏,可能表明部分用户过度依赖该功能。

4. 非参数数据展示

  • 适用场景 :无需假设数据分布形态,适用于非正态分布数据。
  • 优势 :相比直方图或密度图,箱线图更简洁,适合多组数据对比。

案例 :医学研究中,比较不同药物治疗组的疗效数据(非正态分布),箱线图能直观显示组间差异。

五、箱线图的局限性

1、无法显示具体分布形态:如双峰分布或复杂分布模式无法用箱线图表示。

2、只能处理符合正态分布的样本数据。

3、小样本敏感性:样本量过小时,四分位数和异常值判定可能不稳定。

4、依赖经验阈值:1.5×IQR和3×IQR的异常值判定规则是经验性标准,需结合业务背景调整。

六、代码实现及注释

cpp 复制代码
#include <iostream>
using namespace std;

typedef short int16_t;		//int16_t为嵌入式环境下变量定义关键字
typedef bool  bool_t;		

void Quick_Sort(float q[], int16_t l, int16_t r, bool_t order);					//快速排序函数前置声明

void Box_Plot(float data[], int count, float &value_Min, float &value_Max);		//箱线图算法前置声明

int main() {
    float a[] = {0.1, 0.5, 0.8, 0.86, 0.88, 0.89, 0.90};		//模拟数组样本
    float value_Min; 				//定义箱线图算法的异常数值下阈值
	float value_Max;				//定义箱线图算法的异常数值上阈值
    Box_Plot(a, 7, value_Min, value_Max);		//调用箱线图算法,计算数据样本中的上下异常阈值
	
	//计算 value_Min 和 value_Max 之后,可以在后续设计中进行数据滤波
	
    cout<<value_Min <<endl <<value_Max <<endl;
}

/*****************************************************************************
[函数名称]Box_Plot
[函数功能]箱线图算法
[参    数]data:数据样本数组;count:数组大小;value_Min:箱线图下异常阈值;value_Max:箱线图上异常阈值
[备    注]
*****************************************************************************/
void Box_Plot(float data[], int count, float &value_Min, float &value_Max)
{
    float f32Count = count;			
    int index_Q1 = (int)(f32Count/4 + 0.5);			//计算第一四分位数
    int index_Q3 = (int)(f32Count/4*3 + 0.5);		//计算第三四分位数
    float IQR = data[index_Q3] - data[index_Q1];	//计算箱线图IRQ
    value_Min = data[index_Q1] - 1.5*IQR;			//计算样本下异常阈值
    value_Max = data[index_Q3] + 1.5*IQR;			//计算样本上异常阈值
}

/*****************************************************************************
[函数名称]Quick_Sort
[函数功能]快速排序算法
[参    数]data:待排序数组;left:数组左侧起始下标;right:数组右侧结束下标;order:排序方向
[备    注]
*****************************************************************************/
void Quick_Sort(float data[], int16_t left, int16_t right, bool_t order)
{
    if (left >= right)	//递归结束条件
        return;
    int16_t i = left , j = right;
    float x = data[(i+j)>>1];
    while (i < j) {
        if (order == 1) {
            while (data[i] <= x) i++;  //正序:由小到大
            while (data[j] > x) j--;
        } else {
            while (data[i] >= x) i++;  //逆序:由大到小
            while (data[j] < x) j--;
        }

        if (i < j) {					//交换数据位置
            float swap = data[i];
            data[i] = data[j];
            data[j] = swap;
        }
    }
	//递归调用
    Quick_Sort(data, left, j-1, order), Quick_Sort(data, j + 1, right, order);
}

七、如果这篇文章能帮助到你,请点个赞鼓励一下吧ξ( ✿>◡❛)~

相关推荐
艾莉丝努力练剑4 小时前
【Linux:文件】Ext系列文件系统(初阶)
大数据·linux·运维·服务器·c++·人工智能·算法
偷吃的耗子4 小时前
【CNN算法理解】:CNN平移不变性详解:数学原理与实例
人工智能·算法·cnn
dazzle5 小时前
机器学习算法原理与实践-入门(三):使用数学方法实现KNN
人工智能·算法·机器学习
那个村的李富贵5 小时前
智能炼金术:CANN加速的新材料AI设计系统
人工智能·算法·aigc·cann
张张努力变强5 小时前
C++ STL string 类:常用接口 + auto + 范围 for全攻略,字符串操作效率拉满
开发语言·数据结构·c++·算法·stl
万岳科技系统开发5 小时前
食堂采购系统源码库存扣减算法与并发控制实现详解
java·前端·数据库·算法
张登杰踩5 小时前
MCR ALS 多元曲线分辨算法详解
算法
爱吃泡芙的小白白6 小时前
环境数据多维关系探索利器:Pairs Plot 完全指南
python·信息可视化·数据分析·环境领域·pairs plot
YuTaoShao6 小时前
【LeetCode 每日一题】3634. 使数组平衡的最少移除数目——(解法一)排序+滑动窗口
算法·leetcode·排序算法
波波0076 小时前
每日一题:.NET 的 GC是如何分代工作的?
算法·.net·gc