机器学习笔记三-检测异常值

检测异常值是数据预处理中非常重要的一步,因为异常值可能会影响模型的训练效果,甚至导致错误的结论。以下是几种常见的检测异常值的方法:

1. 箱线图(Box Plot)

箱线图是一种简单的统计图形,可以直观地显示数据的分布情况及其离群点(异常值)。在箱线图中,异常值通常定义为超出"盒须"范围的点。

  • IQR(四分位距)方法

    • 箱线图的盒子代表数据的第一四分位数(Q1,25%)和第三四分位数(Q3,75%)。
    • 四分位距(IQR)定义为 Q3 - Q1。
    • 异常值通常定义为小于 Q1 - 1.5 * IQR 或大于 Q3 + 1.5 * IQR 的数据点。
    python 复制代码
    import pandas as pd
    import numpy as np
    import matplotlib.pyplot as plt
    
    # 示例数据
    data = np.random.randn(100)  # 生成100个正态分布的数据点
    data = np.append(data, [10, -10])  # 添加几个异常值
    
    # 绘制箱线图
    plt.boxplot(data)
    plt.show()
    
    # 使用IQR方法检测异常值
    Q1 = np.percentile(data, 25)
    Q3 = np.percentile(data, 75)
    IQR = Q3 - Q1
    
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    
    outliers = data[(data < lower_bound) | (data > upper_bound)]
    print("Detected Outliers:", outliers)

2. 标准差方法

标准差法适用于数据呈正态分布的情况。异常值通常定义为超出平均值 μ \mu μ的3倍标准差 σ \sigma σ 的数据点。

  • 公式

    • 异常值定义为小于 μ − 3 σ \mu - 3\sigma μ−3σ 或大于 μ + 3 σ \mu + 3\sigma μ+3σ 的数据点。
    python 复制代码
    mean = np.mean(data)
    std_dev = np.std(data)
    
    lower_bound = mean - 3 * std_dev
    upper_bound = mean + 3 * std_dev
    
    outliers = data[(data < lower_bound) | (data > upper_bound)]
    print("Detected Outliers using Standard Deviation:", outliers)

3. Z-score 方法

Z-score 表示数据点与均值的偏离程度,用于判断该数据点是否为异常值。Z-score 方法适用于数据呈正态分布的情况。

  • 公式

    • Z-score = x − μ σ \frac{x - \mu}{\sigma} σx−μ
    • 当 Z-score 的绝对值大于某个阈值(通常为 3)时,该数据点被认为是异常值。
    python 复制代码
    from scipy import stats
    
    z_scores = stats.zscore(data)
    outliers = data[np.abs(z_scores) > 3]
    print("Detected Outliers using Z-score:", outliers)

4. 使用 Mahalanobis 距离

Mahalanobis 距离考虑了数据的协方差结构,适合检测多变量数据中的异常值。

  • 公式

    • Mahalanobis 距离 D 2 = ( x − μ ) T Σ − 1 ( x − μ ) D^2 = (x - \mu)^T \Sigma^{-1} (x - \mu) D2=(x−μ)TΣ−1(x−μ)
    • 异常值通常定义为 Mahalanobis 距离超过某个阈值的数据点。
    python 复制代码
    from scipy.spatial import distance
    
    # 示例多维数据
    data = np.random.randn(100, 2)
    mean = np.mean(data, axis=0)
    cov_matrix = np.cov(data, rowvar=False)
    
    mahalanobis_distances = [distance.mahalanobis(x, mean, np.linalg.inv(cov_matrix)) for x in data]
    
    threshold = np.percentile(mahalanobis_distances, 97.5)  # 选择一个合适的阈值
    outliers = data[np.array(mahalanobis_distances) > threshold]
    print("Detected Outliers using Mahalanobis Distance:", outliers)

5. 视觉化异常值检测

通过绘制散点图、直方图等图表,可以直观地观察数据分布并识别可能的异常值。

6. 处理异常值的方法

  • 删除: 直接删除异常值,适用于异常值数量很少的情况。
  • 替换: 使用均值、中位数或插值方法替换异常值。
  • 模型化: 在一些情况下,异常值可能是数据的有效部分,可以通过重新建模来处理这些异常值。

总结:

不同的方法适用于不同类型的数据和异常值检测场景。在实际应用中,通常结合多种方法进行异常值检测,并根据业务需求和数据特点采取适当的处理策略。

相关推荐
cuisidong1997几秒前
5G学习笔记三之物理层、数据链路层、RRC层协议
笔记·学习·5g
乌恩大侠2 分钟前
5G周边知识笔记
笔记·5g
皓7419 分钟前
服饰电商行业知识管理的创新实践与知识中台的重要性
大数据·人工智能·科技·数据分析·零售
985小水博一枚呀1 小时前
【深度学习滑坡制图|论文解读3】基于融合CNN-Transformer网络和深度迁移学习的遥感影像滑坡制图方法
人工智能·深度学习·神经网络·cnn·transformer
AltmanChan1 小时前
大语言模型安全威胁
人工智能·安全·语言模型
985小水博一枚呀1 小时前
【深度学习滑坡制图|论文解读2】基于融合CNN-Transformer网络和深度迁移学习的遥感影像滑坡制图方法
人工智能·深度学习·神经网络·cnn·transformer·迁移学习
数据与后端架构提升之路1 小时前
从神经元到神经网络:深度学习的进化之旅
人工智能·神经网络·学习
爱技术的小伙子1 小时前
【ChatGPT】如何通过逐步提示提高ChatGPT的细节描写
人工智能·chatgpt
咔叽布吉1 小时前
【论文阅读笔记】CamoFormer: Masked Separable Attention for Camouflaged Object Detection
论文阅读·笔记·目标检测
johnny2331 小时前
《大模型应用开发极简入门》笔记
笔记·chatgpt