python异常检测 - 随机离群选择Stochastic Outlier Selection (SOS)

python异常检测 - Stochastic Outlier Selection (SOS)

前言

随机离群选择SOS算法全称stochastic outlier selection algorithm. 该算法的作者是jeroen janssens. SOS算法是一种无监督的异常检测算法.

随机离群选择SOS算法原理

随机离群选择SOS算法的输入:

  • 特征矩阵(feature martrix)或者相异度矩阵(dissimilarity matrix)

随机离群选择SOS算法的输出:

  • 一个异常概率值向量(每个点对应一个).

随机离群选择SOS算法的基本思想

  • 一个点和其它所有点的关联度(affinity)都很小的时候,它就是一个异常点。

随机离群选择SOS实现

随机利群选择SOS的的实现原理

将特征矩阵(feature martrix)或者相异度矩阵(dissimilarity matrix)输入给SOS算法,会返回一个异常概率值向量(每个点对应一个)。SOS的思想是:当一个点和其它所有点的关联度(affinity)都很小的时候,它就是一个异常点。

SOS的流程

1.随机抽样:首先,从原始数据集中随机抽样生成多个子集。每个子集包含原始数据集的一部分样本。

2.距离度量:对于每个子集,计算其中每一对样本之间的距离。通常使用的是欧氏距离或其他合适的距离度量。这一步旨在捕捉子集内样本的相对分布情况。

3.离群得分计算: 对于每个样本,计算其到其他样本的平均距离。离群得分越高,表示该样本越可能是离群点。这个过程有助于识别在整个数据集中相对较远的样本。

4.阈值设定: 根据计算得到的离群得分设定一个阈值。样本的离群得分超过该阈值的话,就被认为是离群点。

相异度矩阵D是各样本两两之间的度量距离, 比如欧式距离或汉明距离等。关联度矩阵反映的是 度量距离方差, 如关联度矩阵中密度可视化所示, 点 的密度最大, 方差最小; 的密度最小, 方差最大。而关联概率 矩阵 (binding probability matrix)就是把关联矩阵(affinity matrix)按行归一化得到的, 如图关联矩阵归一化所 示。

关联度矩阵中密度可视化

关联矩阵归一化

得到了binding probability matrix,每个点的异常概率值就用如下的公式计算,当一个点和其它所有点的关联度(affinity)都很小的时候,它就是一个异常点。

代码实现

powershell 复制代码
import pandas as pd
from sksos import SOS
iris = pd.read_csv("http://bit.ly/iris-csv")
X = iris.drop("Name", axis=1).values
detector = SOS()
iris["score"] = detector.predict(X)
iris.sort_values("score", ascending=False).head(10)

参考资料
收藏!14 种Python异常检测方法总结
【异常检测】数据挖掘领域常用异常检测算法总结以及原理解析

相关推荐
深度学习lover40 分钟前
<项目代码>YOLOv8 苹果腐烂识别<目标检测>
人工智能·python·yolo·目标检测·计算机视觉·苹果腐烂识别
XiaoLeisj2 小时前
【JavaEE初阶 — 多线程】单例模式 & 指令重排序问题
java·开发语言·java-ee
API快乐传递者2 小时前
淘宝反爬虫机制的主要手段有哪些?
爬虫·python
励志成为嵌入式工程师3 小时前
c语言简单编程练习9
c语言·开发语言·算法·vim
捕鲸叉3 小时前
创建线程时传递参数给线程
开发语言·c++·算法
A charmer3 小时前
【C++】vector 类深度解析:探索动态数组的奥秘
开发语言·c++·算法
Peter_chq3 小时前
【操作系统】基于环形队列的生产消费模型
linux·c语言·开发语言·c++·后端
阡之尘埃4 小时前
Python数据分析案例61——信贷风控评分卡模型(A卡)(scorecardpy 全面解析)
人工智能·python·机器学习·数据分析·智能风控·信贷风控
记录成长java5 小时前
ServletContext,Cookie,HttpSession的使用
java·开发语言·servlet
前端青山5 小时前
Node.js-增强 API 安全性和性能优化
开发语言·前端·javascript·性能优化·前端框架·node.js