无监督学习:聚类、异常检测

聚类

工作原因我对聚类特别熟悉,因此视频课程基本快进看完,不做记录

异常检测

高斯(正态)分布

多特征异常检测

将每个特征作为独立特征(实践证明即使不完全独立也影响不大)计算高斯分布的参数,然后将待预估样本代入各高斯函数作为每个特征概率,乘起来作为最终概率,小于阈值时认为异常。

建立一个异常检测系统

使用真实数据评估你的模型,通过交叉验证集可以调整你的 参数

异常检测与监督学习算法对比

其实本质区别是监督学习需要学习,因此需要有足够的正负样本,并且监督学习只认识见过的东西,没有见过的识别不准,所以适合类型变化不大的检测

如何选择特征

在有监督学习中,如果你使用了一些不太准确的特征或者少量多余的特征没有什么问题,因为在学习过程中可以通过标签调整特征权重之类。但是在无监督学习中,模型很难学习到什么特征重要,因此在无监督学习中,选择合适的特征很重要

  1. 选择符合高斯分布的特征,或者通过变换转换为高斯分布
  1. 误差分析,调整特征的使用,增删
相关推荐
悟乙己2 小时前
MLops | 基于AWS Lambda 架构构建强大的机器学习(ML)血缘关系
机器学习·架构·aws
WWZZ20252 小时前
快速上手大模型:机器学习2(一元线性回归、代价函数、梯度下降法)
人工智能·算法·机器学习·计算机视觉·机器人·大模型·slam
koo3643 小时前
李宏毅机器学习笔记21-26周汇总
人工智能·笔记·机器学习
立志成为大牛的小牛4 小时前
数据结构——二十三、并查集的终极优化(王道408)
开发语言·数据结构·笔记·学习·程序人生·考研
QT 小鲜肉5 小时前
【个人成长笔记】Qt Creator快捷键终极指南:从入门到精通
开发语言·c++·笔记·qt·学习·学习方法
Blossom.1185 小时前
把AI“撒”进农田:基于极值量化与状态机的1KB边缘灌溉决策树
人工智能·python·深度学习·算法·目标检测·决策树·机器学习
救救孩子把6 小时前
18-机器学习与大模型开发数学教程-第1章 1-10 本章总结与习题
人工智能·数学·机器学习
救救孩子把7 小时前
17-机器学习与大模型开发数学教程-第1章 1-9 凸函数与凸优化基础
人工智能·数学·机器学习
明月照山海-7 小时前
机器学习周报十八
人工智能·机器学习
QT 小鲜肉7 小时前
【数据结构与算法基础】05. 栈详解(C++ 实战)
开发语言·数据结构·c++·笔记·学习·算法·学习方法