无监督学习:聚类、异常检测

聚类

工作原因我对聚类特别熟悉,因此视频课程基本快进看完,不做记录

异常检测

高斯(正态)分布

多特征异常检测

将每个特征作为独立特征(实践证明即使不完全独立也影响不大)计算高斯分布的参数,然后将待预估样本代入各高斯函数作为每个特征概率,乘起来作为最终概率,小于阈值时认为异常。

建立一个异常检测系统

使用真实数据评估你的模型,通过交叉验证集可以调整你的 参数

异常检测与监督学习算法对比

其实本质区别是监督学习需要学习,因此需要有足够的正负样本,并且监督学习只认识见过的东西,没有见过的识别不准,所以适合类型变化不大的检测

如何选择特征

在有监督学习中,如果你使用了一些不太准确的特征或者少量多余的特征没有什么问题,因为在学习过程中可以通过标签调整特征权重之类。但是在无监督学习中,模型很难学习到什么特征重要,因此在无监督学习中,选择合适的特征很重要

  1. 选择符合高斯分布的特征,或者通过变换转换为高斯分布
  1. 误差分析,调整特征的使用,增删
相关推荐
珊瑚里的鱼9 分钟前
【单链表算法实战】解锁数据结构核心谜题——环形链表
数据结构·学习·程序人生·算法·leetcode·链表·visual studio
林涧泣10 分钟前
图的矩阵表示
学习·线性代数·矩阵
chimchim6618 分钟前
【starrocks学习】之catalog
学习
时间很奇妙!1 小时前
decison tree 决策树
算法·决策树·机器学习
liruiqiang051 小时前
机器学习 - 初学者需要弄懂的一些线性代数的概念
人工智能·线性代数·机器学习·线性回归
Icomi_1 小时前
【外文原版书阅读】《机器学习前置知识》1.线性代数的重要性,初识向量以及向量加法
c语言·c++·人工智能·深度学习·神经网络·机器学习·计算机视觉
梦云澜1 小时前
论文阅读(二):理解概率图模型的两个要点:关于推理和学习的知识
论文阅读·深度学习·学习
Ronin-Lotus2 小时前
上位机知识篇---CMake
c语言·c++·笔记·学习·跨平台·编译·cmake
羊小猪~~2 小时前
深度学习项目--基于LSTM的糖尿病预测探究(pytorch实现)
人工智能·pytorch·rnn·深度学习·神经网络·机器学习·lstm
东来梁蕴秀2 小时前
大语言模型之prompt工程
人工智能·机器学习