无监督学习:聚类、异常检测

聚类

工作原因我对聚类特别熟悉,因此视频课程基本快进看完,不做记录

异常检测

高斯(正态)分布

多特征异常检测

将每个特征作为独立特征(实践证明即使不完全独立也影响不大)计算高斯分布的参数,然后将待预估样本代入各高斯函数作为每个特征概率,乘起来作为最终概率,小于阈值时认为异常。

建立一个异常检测系统

使用真实数据评估你的模型,通过交叉验证集可以调整你的 参数

异常检测与监督学习算法对比

其实本质区别是监督学习需要学习,因此需要有足够的正负样本,并且监督学习只认识见过的东西,没有见过的识别不准,所以适合类型变化不大的检测

如何选择特征

在有监督学习中,如果你使用了一些不太准确的特征或者少量多余的特征没有什么问题,因为在学习过程中可以通过标签调整特征权重之类。但是在无监督学习中,模型很难学习到什么特征重要,因此在无监督学习中,选择合适的特征很重要

  1. 选择符合高斯分布的特征,或者通过变换转换为高斯分布
  1. 误差分析,调整特征的使用,增删
相关推荐
m4Rk_18 分钟前
【论文阅读】Agent 记忆机制(91):THEANINE——不删除过时记忆,让 Agent 记住事情是如何变化的
论文阅读·人工智能·学习·开源·github
我命由我1234540 分钟前
Photoshop - Photoshop 面板和菜单
学习·职场和发展·产品运营·求职招聘·职场发展·产品经理·photoshop
一木 之林1 小时前
RAG开发学习总结:从 LangChain 入门到检索增强生成链路的全栈实战-4/6
人工智能·学习·计算机视觉·langchain
LHR_friendship1 小时前
HCIP课程全部内容
网络·笔记·学习·hcip·华为ensp
CAE虚拟与现实1 小时前
MLP多层感知机(Multilayer Perceptron)
人工智能·机器学习·mlp
海绵宝宝转agent1 小时前
Pico 学习笔记 Harness 设计、历史压缩、三类目录与缓存复用
笔记·学习·缓存
我命由我123452 小时前
Photoshop - Photoshop 使用仿制图章工具移除对象
学习·职场和发展·产品运营·求职招聘·职场发展·产品经理·学习方法
传奇开心果编程2 小时前
【Compose Multiplatform 跨端开发学与练】第3课 布局与组件
android·windows·学习·ui·ios·kotlin·composer
哼べ要伱管2 小时前
26秋季上册-广东省电子基础性作业(小学)
经验分享·学习
JWASX2 小时前
Java 转 go 学习 - 并发编程(2)
学习·golang