异常检测算法

目录

一、异常检测算法功能:

异常检测算法用来检测数据集中的一些异常样本。

异常检测算法属于非监督模型,即没有明确的标签值。

二、正态(高斯)分布:

使用高斯分布来对数据集中的每个特征进行概率建模,每个特征xi各自生成一个高斯函数

对于特征xi,若输入x,高斯函数计算输出的是该取值x 在特征xi所有训练集值中出现的概率通过概率来检测该取值是否异常,从而判断该样本是否异常。

  • 参数μ(均值)控制分布的中心位置,而参数σ(标准差)控制分布的扁平度。
    • 当μ增大时,高斯分布整体向右平移。
    • 当σ增大时,高斯分布会变得更加扁平。

三、异常检测算法执行过程:

  • 1.选定可能会出现异常的n各特征xi。
  • 2.对每个特征xi单独计算其μ和σ构造高斯函数。
  • 3.输入待检测样本x,将样本的每个特征各自输入相应的高斯函数计算各特征的正常概率。
  • 4.各个特征的概率乘积即为该样本的正常概率。
  • 5.若正常概率小于预设值ε,则表明该样本中的特征值是异常的。

四、如何选择特征:

  • 选择尽量符合高斯分布(钟形曲线)的特征。
  • 对于不符合高斯分布的特征,通过线性或非线性变换将特征变换后的分布符合高斯分布。

五、评估异常检测算法:

尽管异常检测算法是非监督模型,但是我们可以通过引入标签值来进行算法的评估:

对于部分已经确定异常的样本,我们将其标签设为"异常1"。然后将这部分样本划分为测试集和交叉验证集,分别在算法训练时、训练后进行算法预测性能的评估,交叉验证算法还可以调整ε等参数的值。

相关推荐
数字智核1 分钟前
2026昆山工厂采购空压机怎么选?哪家公司能做选型和安装
人工智能
AbrahamCS2 分钟前
告别无脑召回与死规则:基于国家标准(GB/T 48000.3)与大模型自主编排的 App 智能运营实战
大数据·人工智能·智能体·ontology
山西正方元9 分钟前
西安商家公私域联动落地:品牌私域架构拆解与本地化适配
大数据·人工智能·#西安本地运营
腾视科技-AI9 分钟前
腾视科技大模型一体机解决方案:低成本私有化落地,重塑行业智能应用新格局
大数据·人工智能·科技·ai·ai大模型·腾视科技·ai算力盒
Thomas.Sir11 分钟前
第26课:TensorFlow|循环神经网络RNN原理【时序数据处理、序列依赖关系讲解】
人工智能·rnn·tensorflow
Wang's Blog13 分钟前
Vibe Coding一人即团队系列54:云服务器 Node.js 与 MySQL 9 环境搭建及配置指南
服务器·人工智能·mysql·node.js
测试开发Kevin17 分钟前
DeepEval + Eval‑Harness 完整讲解(结合 Playwright UI 自动化例子)
人工智能·ai·langchain
张欣-男18 分钟前
5分钟理解线性代数v2
人工智能·线性代数·机器学习
pnoker22 分钟前
从工业软件到 AI 智能体:工业 AIoT 技术路线的系统梳理
java·人工智能·物联网·microsoft·开源·工业互联网
全栈技术负责人23 分钟前
DeepSeek Harness 业务工具权限插件 dsh-tool-permission设计思路
网络·算法·ai·ai编程