Python支持向量机（SVM）算法：面向对象的实现与案例详解

闲人编程2024-10-16 12:05

目录

  • Python支持向量机（SVM）算法：面向对象的实现与案例详解
    • 引言
    • 一、支持向量机算法概述
      • 1.1 支持向量机的基本思想
      • 1.2 SVM的分类问题
      • 1.3 SVM的优化目标
    • 二、面向对象的SVM实现
      • 2.1 类的设计
      • 2.2 Python代码实现
      • 2.3 代码详解
    • 三、案例分析
      • 3.1 案例一：鸢尾花分类
        • 问题描述
        • 数据准备
        • 模型训练与预测
        • 输出结果
      • 3.2 案例二：手写数字识别
        • 问题描述
        • 数据准备
        • 模型训练与预测
        • 输出结果
    • 四、SVM的优化与核方法
      • 4.1 核函数的选择
      • 4.2 惩罚参数 \(C\)
    • 五、总结

Python支持向量机（SVM）算法：面向对象的实现与案例详解

引言

支持向量机（Support Vector Machine，SVM）是一种常用于分类和回归的机器学习算法，尤其在处理高维数据和小样本问题时表现出色。SVM背后的核心思想是通过寻找一个最优的超平面将数据进行分类，最大化两类数据间的边界间隔。SVM不仅适用于线性分类，还可以通过核函数扩展到非线性分类问题。本文将通过面向对象的方式实现支持向量机算法，并结合几个案例详细展示如何在Python中使用SVM解决实际问题。

一、支持向量机算法概述

1.1 支持向量机的基本思想

SVM的目标是找到一个能够将数据集正确划分的超平面，且该超平面与数据点的间隔最大化。SVM有以下几种关键概念：

  • 超平面：在特征空间中，超平面是将不同类别数据分隔开的几何平面。对于二维空间来说，超平面是线，对于三维空间来说，超平面是一个平面，而在高维空间中，超平面则是一个维度减少的几何结构。
  • 支持向量：离超平面最近的样本点。支持向量决定了超平面的边界。
  • 间隔：分类器将支持向量与超平面之间的距离称为"间隔"。SVM通过最大化这个间隔来选择最优的超平面。

1.2 SVM的分类问题

支持向量机主要用于解决以下两类问题：

  1. 线性可分问题：数据可以被一个超平面线性分割。在这种情况下，SVM寻找一个最优的线性超平面。
  2. 线性不可分问题：数据不能被线性超平面分割。SVM通过核函数（Kernel Function）将数据映射到高维空间，在高维空间中寻找最优的线性超平面。

1.3 SVM的优化目标

SVM的优化问题可以表示为：

min ⁡ 1 2 ∣ ∣ w ∣ ∣ 2 \min \frac{1}{2} ||w||^2 min21∣∣w∣∣2
subject to y i ( w ⋅ x i + b ) ≥ 1 , ∀ i \text{subject to } y_i (w \cdot x_i + b) \geq 1, \forall i subject to yi(w⋅xi+b)≥1,∀i

其中， w w w 是超平面的法向量， b b b 是偏置项， x i x_i xi 是输入特征， y i y_i yi 是类别标签（+1 或 -1）。

为了处理线性不可分的情况，SVM引入了松弛变量 ξ i \xi_i ξi 和惩罚参数 C C C，目标变为：

min ⁡ 1 2 ∣ ∣ w ∣ ∣ 2 + C ∑ i = 1 n ξ i \min \frac{1}{2} ||w||^2 + C \sum_{i=1}^{n} \xi_i min21∣∣w∣∣2+Ci=1∑nξi
subject to y i ( w ⋅ x i + b ) ≥ 1 − ξ i , ∀ i \text{subject to } y_i (w \cdot x_i + b) \geq 1 - \xi_i, \forall i subject to yi(w⋅xi+b)≥1−ξi,∀i

二、面向对象的SVM实现

在这一部分，我们将设计一个面向对象的支持向量机分类器 SVMClassifier，并实现其训练和预测方法。我们使用Python的NumPy库来进行数值计算，并手动实现SVM的核心部分。

2.1 类的设计

我们将为SVM创建一个 SVMClassifier 类，核心功能包括：

  1. fit：训练模型，使用梯度下降或拉格朗日乘子法优化超平面。
  2. predict：对新的样本进行分类。
  3. _compute_kernel：计算核函数，用于将线性不可分数据映射到高维空间。
  4. _decision_function：计算决策函数，用于预测类别。

2.2 Python代码实现

python 复制代码 
import numpy as np

class SVMClassifier:
    def __init__(self, kernel='linear', C=1.0, max_iter=1000, tol=1e-3):
        """
        初始化SVM分类器
        :param kernel: 核函数类型，支持'linear', 'poly', 'rbf'
        :param C: 惩罚参数
        :param max_iter: 最大迭代次数
        :param tol: 容差，用于收敛判断
        """
        self.kernel = kernel
        self.C = C
        self.max_iter = max_iter
        self.tol = tol
        self.alpha = None  # 拉格朗日乘子
        self.b = 0  # 偏置项
        self.w = None  # 超平面的权重
        self.support_vectors_ = None  # 支持向量

    def _compute_kernel(self, X, Y=None):
        """
        计算核函数值
        :param X: 输入数据
        :param Y: 如果不为None，则计算X和Y之间的核函数
        :return: 核函数矩阵
        """
        if self.kernel == 'linear':
            if Y is None:
                return np.dot(X, X.T)
            else:
                return np.dot(X, Y.T)
        elif self.kernel == 'poly':
            degree = 3  # 多项式核的度
            if Y is None:
                return (np.dot(X, X.T) + 1) ** degree
            else:
                return (np.dot(X, Y.T) + 1) ** degree
        elif self.kernel == 'rbf':
            gamma = 0.1  # 高斯核的γ参数
            if Y is None:
                X_norm = np.sum(X ** 2, axis=-1)
                return np.exp(-gamma * (X_norm[:, None] + X_norm[None, :] - 2 * np.dot(X, X.T)))
            else:
                X_norm = np.sum(X ** 2, axis=-1)
                Y_norm = np.sum(Y ** 2, axis=-1)
                return np.exp(-gamma * (X_norm[:, None] + Y_norm[None, :] - 2 * np.dot(X, Y.T)))
        else:
            raise ValueError("Unsupported kernel type.")

    def fit(self, X, y):
        """
        训练SVM分类器
        :param X: 输入特征矩阵
        :param y: 标签向量
        """
        n_samples, n_features = X.shape
        self.alpha = np.zeros(n_samples)
        self.b = 0

        # 核函数矩阵
        K = self._compute_kernel(X)

        # 训练SVM
        for _ in range(self.max_iter):
            alpha_prev = np.copy(self.alpha)

            for i in range(n_samples):
                # 计算决策函数
                decision = np.dot((self.alpha * y), K[:, i]) + self.b

                # 更新alpha
                error = decision - y[i]
                if (y[i] * error < -self.tol and self.alpha[i] < self.C) or (y[i] * error > self.tol and self.alpha[i] > 0):
                    self.alpha[i] += y[i] * error

            # 判断是否收敛
            diff = np.linalg.norm(self.alpha - alpha_prev)
            if diff < self.tol:
                break

        # 计算支持向量
        self.support_vectors_ = X[self.alpha > 0]
        self.w = np.dot(X.T, self.alpha * y)
        self.b = np.mean(y - np.dot(X, self.w))

    def predict(self, X):
        """
        对输入数据进行分类
        :param X: 输入特征矩阵
        :return: 预测类别
        """
        return np.sign(np.dot(X, self.w) + self.b)

2.3 代码详解

  1. __init__：初始化SVM分类器，参数包括核函数类型、惩罚参数、最大迭代次数和容差。

  2. _compute_kernel：计算核函数，支持线性核、多项式核和高斯核。核函数用于将数据映射到高维空间，以处理线性不可分问题。

  3. fit ：训练SVM分类器，使用拉格朗日乘子法进行优化。通过反复更新拉格朗日乘子 α \alpha α 来找到最优超平面，并计算支持向量、权重 w w w 和偏置项 b b b。

  4. predict ：对输入数据进行预测，使用决策函数 f ( x ) = w ⋅ x + b f(x) = w \cdot x + b f(x)=w⋅x+b 来确定样本的类别。

三、案例分析

3.1 案例一：鸢尾花分类

问题描述

鸢尾花数据集是机器学习中的经典多分类问题。我们将使用SVM来分类鸢尾花数据集中的三种不同的花种。

数据准备
python 复制代码 
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 载入鸢尾花数据集
iris

 = load_iris()
X, y = iris.data, iris.target

# 将数据二分类化（仅使用前两类花）
X = X[y != 2]
y = y[y != 2]
y[y == 0] = -1  # 将标签转换为-1和1

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
模型训练与预测
python 复制代码 
# 创建SVM分类器
svm = SVMClassifier(kernel='linear', C=1.0)
svm.fit(X_train, y_train)

# 预测并输出准确率
y_pred = svm.predict(X_test)
accuracy = np.mean(y_pred == y_test)
print(f"Test Accuracy: {accuracy}")
输出结果
Test Accuracy: 0.97

在鸢尾花数据集上，线性SVM模型取得了97%的准确率，表现非常出色。

3.2 案例二：手写数字识别

问题描述

手写数字识别是图像分类领域中的典型任务，使用的是MNIST数据集。我们将使用SVM来识别手写的数字。

数据准备
python 复制代码 
from sklearn.datasets import load_digits
from sklearn.preprocessing import StandardScaler

# 载入手写数字数据集
digits = load_digits()
X, y = digits.data, digits.target

# 标准化数据
scaler = StandardScaler()
X = scaler.fit_transform(X)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
模型训练与预测
python 复制代码 
from sklearn.svm import SVC

# 使用SVM分类器
svm = SVC(kernel='rbf', C=1.0)
svm.fit(X_train, y_train)

# 预测并输出准确率
y_pred = svm.predict(X_test)
accuracy = np.mean(y_pred == y_test)
print(f"Test Accuracy: {accuracy}")
输出结果
Test Accuracy: 0.988

在手写数字识别任务中，基于RBF核的SVM模型取得了98.8%的准确率，表现非常优异。

四、SVM的优化与核方法

4.1 核函数的选择

SVM可以通过不同的核函数处理线性不可分的数据。常见的核函数包括：

  1. 线性核：适用于线性可分问题。
  2. 多项式核：通过增加特征的交互项扩展到高维空间。
  3. 高斯核（RBF核）：常用于非线性可分问题，能很好地捕捉复杂的决策边界。

4.2 惩罚参数 (C)

惩罚参数 (C) 控制模型的松弛程度。当 (C) 较大时，模型对误分类更加敏感，倾向于减少训练误差；当 (C) 较小时，模型对误分类容忍度更高，具有更强的泛化能力。

五、总结

本文详细介绍了支持向量机（SVM）算法的基本原理，使用面向对象思想在Python中手动实现了SVM分类器，并通过鸢尾花分类和手写数字识别两个案例展示了SVM的强大性能。同时，讨论了核函数、惩罚参数等SVM的优化方法。

SVM凭借其理论坚实的基础和强大的分类能力，已成为许多分类任务的标准选择。通过对其实现和应用的深入理解，开发者可以在实际工作中灵活应用SVM来解决各种复杂的分类问题。

相关推荐
hummhumm21 分钟前
第 25 章 - Golang 项目结构
java·开发语言·前端·后端·python·elasticsearch·golang
deephub22 分钟前
优化注意力层提升 Transformer 模型效率：通过改进注意力机制降低机器学习成本
人工智能·深度学习·transformer·大语言模型·注意力机制
杜小满26 分钟前
周志华深度森林deep forest（deep-forest）最新可安装教程，仅需在pycharm中完成，超简单安装教程
python·随机森林·pycharm·集成学习
搏博34 分钟前
神经网络问题之二：梯度爆炸（Gradient Explosion）
人工智能·深度学习·神经网络
寻找码源42 分钟前
【头歌实训：利用kmp算法求子串在主串中不重叠出现的次数】
c语言·数据结构·算法·字符串·kmp
Matlab精灵43 分钟前
Matlab科研绘图：自定义内置多款配色函数
算法·matlab
不高明的骗子1 小时前
【深度学习之一】2024最新pytorch+cuda+cudnn下载安装搭建开发环境
人工智能·pytorch·深度学习·cuda
诚丞成1 小时前
滑动窗口篇——如行云流水般的高效解法与智能之道（1）
算法
搏博1 小时前
神经网络问题之：梯度不稳定
人工智能·深度学习·神经网络
Sxiaocai1 小时前
使用 PyTorch 实现并训练 VGGNet 用于 MNIST 分类
pytorch·深度学习·分类
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07怎样让音频速度变慢？请跟随以下方法进行操作08Unity中PICO实现 隔空取物 和 接触抓取物体09RAG 实践- Ollama+RagFlow 部署本地知识库10【目标跟踪】相机运动补偿