KNN算法与SVM支持向量机

KNN算法

KNN算法就是把要分类的对象(例如一个特征向量)与训练集中已知类标记的所有对象进行对比,并由K近邻对分类对象进行判断为那个类别。这种方法的效果好,但是也有弊端,与K-means聚类算法一样,需要先预定设置k的值,k值的选择会影响分类的性能。此外这种方法要求整个训练集存储起来,如果训练集偏大,搜索就慢,训练集偏小,分类结果准确率也就低。对于大的训练集,采取某些装箱形式通常会减少对比的次数。

SVM支持向量机

SVM支持向量机是一类强大的分类算法,最简单的SVM通过在高维空间中寻找一个最优线性分类面,对于特征向量x的决策函数为:

其中w是常规超平面,b是偏移量常数,阈值为0,有一类为正数或负数,求解带有标记的最优化问题,从而找到决策函数的参数。常规解释训练集上某些特征向量的线性组合为:

其中i是训练集中选出的部分样本,称为支持向量,它们可以帮助定义分类的边界。决策函数即变为:

SVM另一个优势是可以使用核函数 ,将特征向量映射到另一个不同维度的空间中。

相关推荐
科技小E3 小时前
睡岗检测算法AI智能分析网关V4全场景智能守护,筑牢安全效率防线
网络·人工智能·安全
视频砖家4 小时前
数字化动态ID随机水印和ID跑马灯实现教育视频防录屏
人工智能·视频加密·用户id跑马灯·视频防下载·数字化动态id随机水印·保利威加密
struggle20257 小时前
DeepSpeed 是一个深度学习优化库,使分布式训练和推理变得简单、高效和有效
人工智能·深度学习
猎嘤一号7 小时前
使用 PyTorch 和 TensorBoard 实时可视化模型训练
人工智能·pytorch·python
从零开始学习人工智能8 小时前
多模型协同:基于 SAM 分割 + YOLO 检测 + ResNet 分类的工业开关状态实时监控方案
人工智能·yolo·分类
s153358 小时前
12-OPENCV ROCKX项目 人脸拍照
人工智能·opencv·计算机视觉
alasnot9 小时前
BERT情感分类
人工智能·深度学习·bert
只有左边一个小酒窝9 小时前
(九)现代循环神经网络(RNN):从注意力增强到神经架构搜索的深度学习演进
人工智能·rnn·深度学习
UQI-LIUWJ10 小时前
论文略读:REEF: Representation Encoding Fingerprints for Large Language Models
人工智能·语言模型·自然语言处理