【机器学习】3. 欧式距离,曼哈顿距离,Minkowski距离,加权欧式距离

Euclidean - L2 norm L2范数

D ( A , B ) = ( a 1 − b 1 ) 2 + ( a 2 − b 2 ) 2 + . . . D(A,B) = \sqrt{(a_1-b_1)^2+(a_2-b_2)^2 + ...} D(A,B)=(a1−b1)2+(a2−b2)2+...

Manhattan

D ( A , B ) = ∣ a 1 − b 1 ∣ + ∣ a 2 − b 2 ∣ + . . . D(A,B) = \sqrt{|a_1-b_1|+|a_2-b_2| + ...} D(A,B)=∣a1−b1∣+∣a2−b2∣+...

Euclidean欧式距离 是直接距离, Manhattan不能走斜线,只能走直线,所以是绝对值的和。

由于 Manhattan distance可以看成是直角三角形的直角边,Euclidean distance可以看成是斜边,所以Manhattan distance >= Eculidean distance.

Minkowski distance

D ( A , B ) = ( ( a 1 − b 1 ) q + ( a 2 − b 2 ) q + . . . ) 1 / q D(A,B) = ((a_1-b_1)^q+(a_2-b_2)^q + ...)^{1/q} D(A,B)=((a1−b1)q+(a2−b2)q+...)1/q

Minkowski distance 是上面两种距离的变型。

Weighted Euclidean

D ( A , B ) = w 1 ( a 1 − b 1 ) 2 + w 2 ( a 2 − b 2 ) 2 + . . . D(A,B) = \sqrt {w_1(a_1-b_1)^2+w_2(a_2-b_2)^2 + ...} D(A,B)=w1(a1−b1)2+w2(a2−b2)2+...

Weighted Distance

权重对比,比如权重取:
1 d 2 \frac{1}{d^2} d21

为什么需要权重呢?这里举一个KNN的例子,在KNN中,我们将距离最近的几个数据中的众数作为最终结果。如果直接使用欧氏距离,会有一个弊端,如下图。

假设我们求黑点的预测值,K是3,1,2,3代表了最近的三个点。 根据我们肉眼判断,黑点应该属于蓝色更加合理,但是传统KNN判断最近的是2个红色,一个蓝色,会将这个黑点划分到红点中。

而权重很好的解决了这个问题,距离更近的权重越大。

例如,黑点到蓝点的距离是1,到两个红点的距离是3。

1/ 1^2 > 1/3^2 + 1/3^2

最后结果是这样的,由于1 > 2/9, 结果判断为蓝色。

相关推荐
LZXCyrus12 分钟前
【杂记】vLLM如何指定GPU单卡/多卡离线推理
人工智能·经验分享·python·深度学习·语言模型·llm·vllm
Enougme15 分钟前
Appium常用的使用方法(一)
python·appium
懷淰メ20 分钟前
PyQt飞机大战游戏(附下载地址)
开发语言·python·qt·游戏·pyqt·游戏开发·pyqt5
我感觉。29 分钟前
【机器学习chp4】特征工程
人工智能·机器学习·主成分分析·特征工程
hummhumm34 分钟前
第 22 章 - Go语言 测试与基准测试
java·大数据·开发语言·前端·python·golang·log4j
YRr YRr38 分钟前
深度学习神经网络中的优化器的使用
人工智能·深度学习·神经网络
DieYoung_Alive38 分钟前
一篇文章了解机器学习(下)
人工智能·机器学习
夏沫的梦40 分钟前
生成式AI对产业的影响与冲击
人工智能·aigc
hummhumm1 小时前
第 28 章 - Go语言 Web 开发入门
java·开发语言·前端·python·sql·golang·前端框架
goomind1 小时前
YOLOv8实战木材缺陷识别
人工智能·yolo·目标检测·缺陷检测·pyqt5·木材缺陷识别