KNN算法与SVM支持向量机

KNN算法

KNN算法就是把要分类的对象(例如一个特征向量)与训练集中已知类标记的所有对象进行对比,并由K近邻对分类对象进行判断为那个类别。这种方法的效果好,但是也有弊端,与K-means聚类算法一样,需要先预定设置k的值,k值的选择会影响分类的性能。此外这种方法要求整个训练集存储起来,如果训练集偏大,搜索就慢,训练集偏小,分类结果准确率也就低。对于大的训练集,采取某些装箱形式通常会减少对比的次数。

SVM支持向量机

SVM支持向量机是一类强大的分类算法,最简单的SVM通过在高维空间中寻找一个最优线性分类面,对于特征向量x的决策函数为:

其中w是常规超平面,b是偏移量常数,阈值为0,有一类为正数或负数,求解带有标记的最优化问题,从而找到决策函数的参数。常规解释训练集上某些特征向量的线性组合为:

其中i是训练集中选出的部分样本,称为支持向量,它们可以帮助定义分类的边界。决策函数即变为:

SVM另一个优势是可以使用核函数 ,将特征向量映射到另一个不同维度的空间中。

相关推荐
谢栋_几秒前
基于 GitLab CI/CD 与 Google Gemini 的 AI Code Review 自动化方案
人工智能·ci/cd·gitlab
koo3646 分钟前
李宏毅机器学习笔记17
人工智能·笔记·机器学习
心无旁骛~14 分钟前
PIL与OpenCV图像读取的颜色格式陷阱:RGB vs BGR
人工智能·opencv·计算机视觉
程序员大雄学编程25 分钟前
「深度学习笔记1」深度学习全面解析:从基本概念到未来趋势
人工智能·笔记·深度学习
sensen_kiss36 分钟前
INT305 Machine Learning 机器学习 Pt.4
人工智能·机器学习
WWZZ202539 分钟前
快速上手大模型:机器学习1
人工智能·深度学习·机器学习·计算机视觉·机器人·slam
沫儿笙1 小时前
川崎焊接机器人弧焊气体节约
人工智能·机器人
新知图书1 小时前
多模态大模型的应用场景
人工智能·大模型应用开发·大模型应用
Giser探索家1 小时前
遥感卫星升轨 / 降轨技术解析:对图像光照、对比度的影响及工程化应用
大数据·人工智能·算法·安全·计算机视觉·分类
Mr数据杨1 小时前
【ComfyUI】Animate单人物角色视频替换
人工智能·计算机视觉·音视频