异常检测算法

目录

一、异常检测算法功能:

异常检测算法用来检测数据集中的一些异常样本。

异常检测算法属于非监督模型,即没有明确的标签值。

二、正态(高斯)分布:

使用高斯分布来对数据集中的每个特征进行概率建模,每个特征xi各自生成一个高斯函数

对于特征xi,若输入x,高斯函数计算输出的是该取值x 在特征xi所有训练集值中出现的概率通过概率来检测该取值是否异常,从而判断该样本是否异常。

  • 参数μ(均值)控制分布的中心位置,而参数σ(标准差)控制分布的扁平度。
    • 当μ增大时,高斯分布整体向右平移。
    • 当σ增大时,高斯分布会变得更加扁平。

三、异常检测算法执行过程:

  • 1.选定可能会出现异常的n各特征xi。
  • 2.对每个特征xi单独计算其μ和σ构造高斯函数。
  • 3.输入待检测样本x,将样本的每个特征各自输入相应的高斯函数计算各特征的正常概率。
  • 4.各个特征的概率乘积即为该样本的正常概率。
  • 5.若正常概率小于预设值ε,则表明该样本中的特征值是异常的。

四、如何选择特征:

  • 选择尽量符合高斯分布(钟形曲线)的特征。
  • 对于不符合高斯分布的特征,通过线性或非线性变换将特征变换后的分布符合高斯分布。

五、评估异常检测算法:

尽管异常检测算法是非监督模型,但是我们可以通过引入标签值来进行算法的评估:

对于部分已经确定异常的样本,我们将其标签设为"异常1"。然后将这部分样本划分为测试集和交叉验证集,分别在算法训练时、训练后进行算法预测性能的评估,交叉验证算法还可以调整ε等参数的值。

相关推荐
糖葫芦君几秒前
普通卷积 VS 深度卷积
人工智能·深度学习
多则惑少则明2 分钟前
【算法题4】找出字符串中的最长回文子串(Java版)
java·开发语言·数据结构·算法
迷途之人不知返6 分钟前
二叉树题目
数据结构·算法
【建模先锋】10 分钟前
基于Python的智能故障诊断系统 | SmartDiag AI (基础版)V1.0 正式发布!
开发语言·人工智能·python·故障诊断·智能分析平台·大数据分析平台·智能故障诊断系统
简鹿办公10 分钟前
Opera 全线浏览器接入 Google Gemini,AI 上网体验全面升级
人工智能·google gemini·opera neon
AIsdhuang13 分钟前
2025 年企业 AI 培训精选指南:聚焦企业培训场景
人工智能·python
Léon's Blog21 分钟前
torch常见操作
人工智能
梵得儿SHI22 分钟前
AI Agent 性能优化与成本控制:从技术突破到行业落地实战指南
人工智能·性能优化·智能路由·aiagent落地实践·成本控制和稳定性保障·提示词压缩·模型运行慢
IT·陈寒28 分钟前
小智 AI 智能音箱 MCP 开发实战:从环境搭建到自定义语音技能完整指南
人工智能·语音识别·智能音箱
这张生成的图像能检测吗30 分钟前
(论文速读)一种基于双目视觉的机器人螺纹装配预对准姿态估计方法
人工智能·计算机视觉·机器人·手眼标定·位姿估计·双目视觉·螺纹装配