异常值检测方法详解（IQR / Z-score / Percentile / Winsorize）

本文面向 金融时间序列 / 量化研究 / 数据分析 ，系统介绍四种最常用的异常值（Outlier）检测方法，并给出 Pandas / SciPy 实战示例。

一、异常值处理的核心目标

异常值处理的本质目标不是"删除异常"，而是：

降低极端值对统计量的扭曲
提高模型的稳定性
保留真实的市场结构
不破坏时间序列的连续性

二、方法总览

方法	是否基于分布	是否生成新值	对极端值敏感度	金融适用性
IQR	否	否	低	★★★★★
Z-score	是	否	高	★★☆☆☆
Percentile	否	否	低	★★★☆☆
Winsorize	否	是	低	★★★★★

金融数据首选：IQR + Winsorize

三、IQR（Interquartile Range）

3.1 原理

IQR 是一种非参数方法，不依赖数据分布假设，通过四分位距识别异常值。

3.2 数学定义

Q1=25% 分位数Q3=75% 分位数IQR=Q3−Q1Lower Bound=Q1−k×IQRUpper Bound=Q3+k×IQR \begin{aligned} Q_1 &= \text{25\% 分位数} \\ Q_3 &= \text{75\% 分位数} \\ \text{IQR} &= Q_3 - Q_1 \\ \text{Lower Bound} &= Q_1 - k \times \text{IQR} \\ \text{Upper Bound} &= Q_3 + k \times \text{IQR} \end{aligned} Q1Q3IQRLower BoundUpper Bound=25% 分位数=75% 分位数=Q3−Q1=Q1−k×IQR=Q3+k×IQR

3.3 常用阈值

kkk	覆盖比例
1.5	~99.3%
3.0	~99.97%

3.4 Pandas 实现

python 复制代码

import pandas as pd

def iqr_outliers(s: pd.Series, k: float = 1.5):
    q1, q3 = s.quantile([0.25, 0.75])
    iqr = q3 - q1
    lower, upper = q1 - k * iqr, q3 + k * iqr
    return s < lower, s > upper

3.5 使用场景

收益率
价差
波动率
非正态分布数据

四、Z-score（标准分数法）

4.1 原理

假设数据服从 正态分布，使用标准差衡量偏离程度。

4.2 数学定义

z=x−μσ z = \frac{x - \mu}{\sigma} z=σx−μ

其中：

μ\muμ：均值
σ\sigmaσ：标准差

4.3 常用阈值

| ∣z∣|z|∣z∣ | 概率解释 |

| :---: | :------: |

| > 2 | ~5% |

| > 3 | ~0.3% |

4.4 Pandas 实现

python 复制代码

def zscore_outliers(s: pd.Series, thresh: float = 3):
    z = (s - s.mean()) / s.std()
    return z.abs() > thresh

4.5 局限性（金融慎用）

金融数据不满足正态分布
极端行情会扭曲 μ\muμ 和 σ\sigmaσ
对单一极端值非常敏感

五、Percentile（分位数截断）

5.1 原理

直接基于百分位边界进行截断，简单且稳健。

5.2 数学定义

L=α-分位U=(1−α)-分位 \begin{aligned} L &= \alpha\text{-分位} \\ U &= (1-\alpha)\text{-分位} \end{aligned} LU=α-分位=(1−α)-分位

5.3 常用参数

市场	α\alphaα
股票	0.01
期货	0.02
加密货币	0.005

5.4 实现示例

python 复制代码

def percentile_bounds(s: pd.Series, alpha: float = 0.01):
    return s.quantile(alpha), s.quantile(1 - alpha

六、Winsorize（缩尾处理）

量化研究中最重要的异常值处理方法

6.1 原理

不直接删除异常值，而是将其压缩到边界值，从而保留样本数量与时间结构。

6.2 操作规则

x={L,x<Lx,L≤x≤UU,x>U x = \begin{cases} L, & x < L \\ x, & L \le x \le U \\ U, & x > U \end{cases} x=⎩ ⎨ ⎧L,x,U,x<LL≤x≤Ux>U

6.3 SciPy 实现

python 复制代码

from scipy.stats.mstats import winsorize

s_w = winsorize(s, limits=[0.01, 0.01])

6.4 金融推荐参数

品种	limits
A 股	$0.01, 0.01$
美股	$0.01, 0.01$
期货	$0.02, 0.02$
加密货币	$0.005, 0.005$

七、工程级组合方案（推荐）

核心思想：

IQR 负责"识别风险"，Winsorize 负责"温和修正"，绝不粗暴删数据。

python 复制代码

def clean_series(
    s: pd.Series,
    iqr_k=1.5
) -> pd.Series:
    """
    用 IQR 边界替代固定分位数
    """

    q1, q3 = s.quantile([0.25, 0.75])
    iqr = q3 - q1
    lower, upper = q1 - iqr_k * iqr, q3 + iqr_k * iqr

    return s.clip(lower, upper)

八、技术指标中的应用建议

指标	推荐方法
RSI	IQR
ATR	Winsorize
Volume	Percentile
Returns	Winsorize

九、总结

方法	推荐指数	原因
IQR	★★★★★	稳健、无分布假设
Winsorize	★★★★★	量化行业标准
Percentile	★★★☆☆	简单可靠
Z-score	★★☆☆☆	不适合金融数据

最佳实践：IQR 用于检测，Winsorize 用于修正