机器学习--KNN算法中的距离、范数、正则化

一、KNN算法(K最邻进分类算法)

用距离最近的一类来预测未知的类别,到底属于哪个类

例子:假设统计了几个人的身高数据,并且知道这几个人的性别,这时候来了一个人:知道身高但不知道性别,现在来预测一下这个人的性别

通过距离来进行算法分类:

在一维数轴上,找到每个人和新来的这个人的身高,通过寻找3个身高与新人相差最小的人(k=3)来预测新来的人到底是男性还是女性。计算每个人与新来的人的身高差(出现负数预测不靠谱),则将身高差先平方后开方,其中身高差最小的三个人也就是与新来的人距离最近的人,其中三个人中有两个人为女性,则预测新来的人为女性。

若在数据中增加一个体重数据,则建立二维平面图,同上根据距离进行算法分类

若在数据中再增加一个腰维数据,则建立平面直角坐标系,同上根据距离进行算法分类

二、计算距离的几种距离公式

1.曼哈顿距离

常用在汽车导航(比较两个目的地的距离哪个更长),计算机视觉领域(识别两个相似的图像或者物体)

2.欧氏距离

常用在推荐算法,欺诈检测,图像识别当中

3.切比雪夫距离(国王距离)

计算两个数据点之间任意维度上差的最大距离

4.闵可夫斯基距离(距离度量的统一框架)

三、距离,范数,正则化的关系

距离:定义在空间上任意两点之间,衡量空间上两点之间的间隔或者差异

范数:计算向量的长度,来衡量一个向量的大小(必须为非负的实数)

正则化:解决过拟合问题

距离的度量是范数的几何应用,而正则化则是范数的算法约束应用

相关推荐
瓶瓶持续学习中6 小时前
物理AI与具身智能的技术架构区别:从空间建模到机器人动作执行
人工智能·机器人
羲云网络6 小时前
GPT Image 2.6 精准编辑前,先排查参考图的访问权限与输入交接
图像处理·人工智能·aigc
snakeshe10106 小时前
ChatGLM行业垂直领域微调实战:从需求分析到数据集加载完整流程
人工智能
橘子137 小时前
【高级数据库】关系代数基本概念
算法
智联视频超融合平台10 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟11 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯12 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐12 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
电科_银尘18 小时前
【大模型算法与工程 15】手写Self-Attention:Q、K、V与缩放点积
算法