python学智能算法(二十三)|SVM-几何距离

引言

前序学习文章中,已经探究了电荷超平面的距离计算方法,相关文章为点与超平面的距离

在这片文章中,我们了解到计算距离的公式:
F = min ⁡ i = 1... m y i ( w ⋅ x i + b ) F=\min_{i=1...m}y_{i}(w\cdot x_{i}+b) F=i=1...mminyi(w⋅xi+b)

计算点与超平面的距离

对此,可以书写代码进行计算:

python 复制代码
# 引入numpy模块
import numpy as np

# 定义example_functional_margin()函数
def example_functional_margin(w,b,x,y):
    # 先对w和x两个参数执行点击运算,然后添加偏置量b后与y相乘
    result = y*(np.dot(w,x)+b)
    return result

# 定义functional_margin()函数
def functional_margin_array(w,b,X,y):
    # 直接调用example_functional_margin()函数,按照枚举函数的顺序,逐个计算
    return np.array([example_functional_margin(w,b,x,y)
                  for i,x in enumerate(X)])

# 定义functional_margin()函数
def functional_margin(w,b,X,y):
    # 直接调用example_functional_margin()函数,按照枚举函数的顺序,逐个计算
    return np.min([example_functional_margin(w,b,x,y)
                  for i,x in enumerate(X)])

x=np.array([[1,1],
           [2,2]])
y=1

b_1=5
w_1=np.array([2,1])

w_2=w_1*10
b_2=b_1*10

# 所有结果均输出
print(functional_margin_array(w_1,b_1,x,y))
print(functional_margin_array(w_2,b_2,x,y))
# 最小结果输出
print(functional_margin(w_1,b_1,x,y))
print(functional_margin(w_2,b_2,x,y))

代码运行效果为:

在上述代码中,我们会有一个发现:在向量x不改变的前提下,如果等比率调整权重向量w和偏置量b,获得的距离F也会等比率变化。而对于超平面计算公式 w ⋅ x + b = 0 w\cdot x+b=0 w⋅x+b=0

w和x无论扩大多少倍,公式依然成立。

因此,必须进一步修正点与超平面的计算公式,消除w和b按比率变化的影响。

点与超平面距离公式修正

在先前的学习进程中,通过向量的值和方向我们已经掌握方向向量的计算方法:
w = ( w 1 ∥ w ∥ , w 2 ∥ w ∥ ) w=(\frac{w_{1}}{\left \| w \right \|},\frac{w_{2}}{\left \| w \right \|}) w=(∥w∥w1,∥w∥w2)由上式可知,方向向量是一个单位向量,一个向量无论放大多少倍,方向向量都不会改变。

因此,合理的点与超平面计算公式应当回归到将w转化为单位向量,使得所有计算基准统一,定义此时的距离为几何距离δ: δ = min ⁡ i = 1... m y i ( w ∥ w ∥ ⋅ x + b ∥ w ∥ ) \delta =\min_{i=1...m}y_{i}(\frac{w}{\left \| w \right \|}\cdot x+\frac{b}{\left \| w \right \|}) δ=i=1...mminyi(∥w∥w⋅x+∥w∥b)

δ的计算和F最大的不同在于:将权重向量统一为单位向量。

此时再次计算点与超平面的距离时就不用担心权重向量w和偏置量b的取值。

python 复制代码
# 引入numpy模块
import numpy as np

# 定义example_functional_margin()函数
def example_functional_margin(w,b,x,y):
    # 先对w和x两个参数执行点击运算,然后添加偏置量b后与y相乘
    result = y*(np.dot(w,x)+b)
    return result

# 定义functional_margin()函数
def functional_margin_array(w,b,X,y):
    # 直接调用example_functional_margin()函数,按照枚举函数的顺序,逐个计算
    return np.array([example_functional_margin(w,b,x,y)
                  for i,x in enumerate(X)])

# 定义functional_margin()函数
def functional_margin(w,b,X,y):
    # 直接调用example_functional_margin()函数,按照枚举函数的顺序,逐个计算
    return np.min([example_functional_margin(w,b,x,y)
                  for i,x in enumerate(X)])

x=np.array([[1,1],
           [2,2]])
y=1

b_1=5
w_1=np.array([2,1])

w_2=w_1*10
b_2=b_1*10

# 所有结果均输出
print(functional_margin_array(w_1,b_1,x,y))
print(functional_margin_array(w_2,b_2,x,y))
# 最小结果输出
print(functional_margin(w_1,b_1,x,y))
print(functional_margin(w_2,b_2,x,y))

# 将计算基准转化为权重矩阵的单位向量
def example_functional_margin_unit_ector(w,b,x,y):
    unit=np.linalg.norm(w)
    result=y*(np.dot(w/unit,x)+b/unit)
    return result

# 计算基于单位向量的距离
def geometric_margin(w,b,X,y):
    return np.array([example_functional_margin_unit_ector(w,b,x,y)
                     for i,x in enumerate(X)])

# 输出单位向量基准的距离
print(geometric_margin(w_1,b_1,x,y))
print(geometric_margin(w_2,b_2,x,y))

此时的计算结果为:

由计算效果可见,此时尽管w放大10倍,但计算获得的几何距离值不变。

总结

学习了几何距离的定义和计算。

相关推荐
古城小栈1 分钟前
Rust 已经自举,却仍需GNU与MSVC工具链的缘由
开发语言·rust
飞哥数智坊3 分钟前
3位实战分享、6个案例展示,TRAE Friends@济南第二场圆满完成
人工智能·ai编程·trae
vyuvyucd3 分钟前
MPPI算法实战:机器人避障与仿真
python
xiaobaishuoAI4 分钟前
全链路性能优化实战指南:从瓶颈定位到极致优化
大数据·人工智能·科技·百度·geo
人工小情绪4 分钟前
深度学习模型部署形式
人工智能·深度学习
计算机徐师兄4 分钟前
Python基于Flask的广东旅游数据分析系统(附源码,文档说明)
python·flask·旅游数据分析·广东旅游数据分析系统·python广东数据分析系统·python广东旅游数据分析·python旅游数据分析系统
AI_56785 分钟前
零基础学Linux:21天从“命令小白”到独立部署服务器
linux·服务器·人工智能·github
jarreyer6 分钟前
数据项目分析标准化流程
开发语言·python·机器学习
闻缺陷则喜何志丹7 分钟前
【回文 字符串】3677 统计二进制回文数字的数目|2223
c++·算法·字符串·力扣·回文
乾元7 分钟前
如何把 CCIE / HCIE 的实验案例改造成 AI 驱动的工程项目——从“实验室能力”到“可交付系统”的完整迁移路径
大数据·运维·网络·人工智能·深度学习·安全·机器学习