支持向量机(Support Vector Machine,SVM)详细解释(带示例)

目录

基本概念

线性可分情况

线性不可分情况

工作原理

示例

[Python 案例](#Python 案例)

代码解释


基本概念

支持向量机是一种有监督的机器学习算法,可用于分类和回归任务。在分类问题中,SVM 的目标是找到一个最优的超平面,将不同类别的样本分隔开来,并且使得两类样本到该超平面的间隔最大。这个超平面被称为最大间隔超平面,而那些离超平面最近的样本点被称为支持向量,它们决定了超平面的位置和方向。

线性可分情况

当数据是线性可分的,即存在一个超平面能够完全将不同类别的样本分开时,SVM 会寻找一个具有最大间隔的超平面。假设我们有一个二维数据集,包含两类样本,此时的超平面就是一条直线。SVM 会找到这样一条直线,使得两类样本到该直线的距离(间隔)最大。

线性不可分情况

在实际应用中,数据往往是线性不可分的,即不存在一个超平面能够完美地将不同类别的样本分开。为了解决这个问题,SVM 引入了核函数和软间隔的概念。

  • 核函数:通过将原始数据映射到一个更高维的特征空间,使得数据在新的空间中变得线性可分。常见的核函数有线性核、多项式核、高斯核(RBF 核)等。
  • 软间隔:允许部分样本点落在间隔带内甚至错误分类,通过引入一个惩罚参数 C 来控制这种错误分类的程度。 C 值越大,对错误分类的惩罚越严重; C 值越小,允许更多的样本点被错误分类。
工作原理

SVM 的核心是求解一个凸二次规划问题,以找到最优的超平面。对于线性可分问题,其目标是最大化间隔;对于线性不可分问题,目标是在最大化间隔的同时,最小化错误分类的样本数量。

示例

假设我们有一个简单的二维数据集,包含两类样本:红色点和蓝色点。在二维平面上,这些点可能分布得比较杂乱,无法用一条直线直接将它们分开。通过使用核函数(如高斯核),我们可以将这些二维数据映射到一个更高维的空间中,在这个高维空间中,可能就存在一个超平面能够将红色点和蓝色点分开。

Python 案例

python 复制代码
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score

# 加载鸢尾花数据集
iris = datasets.load_iris()
# 只选取前两个特征,方便可视化
X = iris.data[:, :2]
y = iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建 SVM 分类器,使用径向基核函数(RBF)
svm_classifier = SVC(kernel='rbf', C=1.0, gamma='scale')

# 训练模型
svm_classifier.fit(X_train, y_train)

# 预测测试集
y_pred = svm_classifier.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"支持向量机模型的准确率: {accuracy:.2f}")

# 可视化决策边界
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                     np.arange(y_min, y_max, 0.02))
Z = svm_classifier.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

plt.contourf(xx, yy, Z, alpha=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, alpha=0.8)
plt.xlabel('Sepal length')
plt.ylabel('Sepal width')
plt.title('SVM Decision Boundary')
plt.show()

代码解释

  1. 数据加载与预处理 :使用 datasets.load_iris() 加载鸢尾花数据集,并只选取前两个特征用于可视化。然后使用 train_test_split 函数将数据集划分为训练集和测试集。
  2. 模型创建与训练 :创建一个 SVM 分类器 SVC,使用径向基核函数(RBF),并设置惩罚参数 C=1.0 和核系数 gamma='scale'。然后使用训练集数据对模型进行训练。
  3. 模型预测与评估 :使用训练好的模型对测试集进行预测,并使用 accuracy_score 函数计算预测结果的准确率。
  4. 可视化决策边界:通过生成网格点,使用训练好的模型对网格点进行预测,然后绘制决策边界和样本点,直观展示 SVM 的分类效果。
相关推荐
Demons_kirit8 分钟前
Leetcode 2845 题解
算法·leetcode·职场和发展
AI军哥17 分钟前
MySQL8的安装方法
人工智能·mysql·yolo·机器学习·deepseek
余弦的倒数31 分钟前
知识蒸馏和迁移学习的区别
人工智能·机器学习·迁移学习
Allen Bright31 分钟前
【机器学习-线性回归-2】理解线性回归中的连续值与离散值
人工智能·机器学习·线性回归
adam_life38 分钟前
http://noi.openjudge.cn/——2.5基本算法之搜索——200:Solitaire
算法·宽搜·布局唯一码
weixin_贾39 分钟前
最新AI-Python机器学习与深度学习技术在植被参数反演中的核心技术应用
python·机器学习·植被参数·遥感反演
我想进大厂1 小时前
图论---朴素Prim(稠密图)
数据结构·c++·算法·图论
我想进大厂1 小时前
图论---Bellman-Ford算法
数据结构·c++·算法·图论
AIGC大时代1 小时前
高效使用DeepSeek对“情境+ 对象 +问题“型课题进行开题!
数据库·人工智能·算法·aigc·智能写作·deepseek
硅谷秋水1 小时前
GAIA-2:用于自动驾驶的可控多视图生成世界模型
人工智能·机器学习·自动驾驶