异常检测算法

目录

一、异常检测算法功能:

异常检测算法用来检测数据集中的一些异常样本。

异常检测算法属于非监督模型,即没有明确的标签值。

二、正态(高斯)分布:

使用高斯分布来对数据集中的每个特征进行概率建模,每个特征xi各自生成一个高斯函数

对于特征xi,若输入x,高斯函数计算输出的是该取值x 在特征xi所有训练集值中出现的概率通过概率来检测该取值是否异常,从而判断该样本是否异常。

  • 参数μ(均值)控制分布的中心位置,而参数σ(标准差)控制分布的扁平度。
    • 当μ增大时,高斯分布整体向右平移。
    • 当σ增大时,高斯分布会变得更加扁平。

三、异常检测算法执行过程:

  • 1.选定可能会出现异常的n各特征xi。
  • 2.对每个特征xi单独计算其μ和σ构造高斯函数。
  • 3.输入待检测样本x,将样本的每个特征各自输入相应的高斯函数计算各特征的正常概率。
  • 4.各个特征的概率乘积即为该样本的正常概率。
  • 5.若正常概率小于预设值ε,则表明该样本中的特征值是异常的。

四、如何选择特征:

  • 选择尽量符合高斯分布(钟形曲线)的特征。
  • 对于不符合高斯分布的特征,通过线性或非线性变换将特征变换后的分布符合高斯分布。

五、评估异常检测算法:

尽管异常检测算法是非监督模型,但是我们可以通过引入标签值来进行算法的评估:

对于部分已经确定异常的样本,我们将其标签设为"异常1"。然后将这部分样本划分为测试集和交叉验证集,分别在算法训练时、训练后进行算法预测性能的评估,交叉验证算法还可以调整ε等参数的值。

相关推荐
塔中妖5 分钟前
蓝耘 MaaS 平台接入 Grok CLI 完整配置指南
人工智能
好运的阿财15 分钟前
process 工具与子agent管理机制详解
网络·人工智能·python·程序人生·ai编程
龙文浩_17 分钟前
AI中NLP的文本张量表示方法在自然语言处理中的演进与应用
人工智能·pytorch·深度学习·神经网络·自然语言处理
砍材农夫18 分钟前
spring-ai 第六模型介绍-聊天模型
java·人工智能·spring
deardao19 分钟前
【LLM+时序控制】闭环控制:基于控制理论的可证明稳定时间序列预测框架与大型语言模型
人工智能·语言模型·自然语言处理
only-qi19 分钟前
Agent Skills:让 AI 成为后端开发的得力助手
人工智能·skills
花燃柳卧22 分钟前
AI 团队工作流工程化架构方案
人工智能·ai编程·ai工作流
G***技23 分钟前
让AI为企业所用:AI PC N602构筑安全智能防线
人工智能·ai pc·mini pc
Henry-SAP26 分钟前
SAP中的预留影响MRP需求计算业务解析
人工智能·sap·erp
xiaoduo AI29 分钟前
客服机器人支持表情包互动吗?智能体图文自动回复,更贴合年轻客户偏好?
人工智能·机器人