无监督学习:聚类、异常检测

聚类

工作原因我对聚类特别熟悉,因此视频课程基本快进看完,不做记录

异常检测

高斯(正态)分布

多特征异常检测

将每个特征作为独立特征(实践证明即使不完全独立也影响不大)计算高斯分布的参数,然后将待预估样本代入各高斯函数作为每个特征概率,乘起来作为最终概率,小于阈值时认为异常。

建立一个异常检测系统

使用真实数据评估你的模型,通过交叉验证集可以调整你的 参数

异常检测与监督学习算法对比

其实本质区别是监督学习需要学习,因此需要有足够的正负样本,并且监督学习只认识见过的东西,没有见过的识别不准,所以适合类型变化不大的检测

如何选择特征

在有监督学习中,如果你使用了一些不太准确的特征或者少量多余的特征没有什么问题,因为在学习过程中可以通过标签调整特征权重之类。但是在无监督学习中,模型很难学习到什么特征重要,因此在无监督学习中,选择合适的特征很重要

  1. 选择符合高斯分布的特征,或者通过变换转换为高斯分布
  1. 误差分析,调整特征的使用,增删
相关推荐
qeen875 小时前
【Linux】操作系统之进程介绍(一)
linux·笔记·学习·进程
nagualky1235 小时前
AI Agent上线后怎么升级?先建立一套可回滚的变更控制
人工智能·机器学习·语言模型·软件工程
传奇开心果编程5 小时前
【Rust入门知识点学与练】第36课:所有权——移动、借用、Copy、切片
开发语言·学习·rust
传奇开心果编程6 小时前
【Rust入门知识点学与练】第35课:工具链与反馈环——先学会读编译器在说什么
开发语言·学习·rust
优化Henry7 小时前
学习笔记之关于MME不通问题归纳
运维·网络·学习·5g·信息与通信
宁渡AI大模型8 小时前
河南宁渡科技有限公司|宁渡课堂 AI 全栈面试分享,RAG 项目面试深挖问题解析
人工智能·机器学习·rag
M78佐菲14 小时前
51单片机学习笔记:ds18b20要点整理
linux·笔记·嵌入式硬件·学习·51单片机
高亦真15 小时前
今天是学习嵌入式的第37天
linux·学习·算法
罗西的思考16 小时前
[Agent Memory / 强化学习] MemPO源码学习笔记 --- (2)--- 训练
人工智能·算法·机器学习
泡泡鱼(敲代码中)18 小时前
Python 字符串 str 完整学习笔记
python·学习