多类别支持向量机（Multi-class SVM）是一种扩展二分类支持向量机以处理多类别分类问题的方法。常见的方法有"一对一"（one-vs-one）和"一对多"（one-vs-rest）。
一、数学模型理论推导
1.1 一对多（One-vs-Rest, OvR）
对于 K 个类别，每次训练一个分类器，将一个类别作为正类，其他类别作为负类。最终选择最大分类器得分对应的类别作为预测结果。
1.2 一对一（One-vs-One, OvO）
二、实施步骤与参数解读
2.1 选择核函数
常用的核函数有：
2.2 参数选择
- C：控制分类错误与间隔的权衡。值越大，分类错误越少，但间隔越小，容易过拟合。
：控制RBF核的宽度。值越大，高斯分布越窄，模型复杂度越高，容易过拟合。
三、多维数据实例
python
import numpy as np
import matplotlib.pyplot as plt
from sklearn.svm import SVC
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
from sklearn.decomposition import PCA
# 生成新的多类别数据集
X, y = make_classification(n_samples=300, n_features=10, n_informative=5, n_redundant=5, n_classes=3, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 未优化的多类别SVM模型
model = SVC(kernel='rbf', C=1.0, gamma='scale', decision_function_shape='ovr')
model.fit(X_train, y_train)
# 预测与结果分析
y_pred = model.predict(X_test)
print("未优化模型分类报告：")
print(classification_report(y_test, y_pred))
# 使用PCA降维到2D用于可视化
pca = PCA(n_components=2)
X_test_pca = pca.fit_transform(X_test)
# 可视化结果
plt.figure(figsize=(10, 6))
plt.scatter(X_test_pca[:, 0], X_test_pca[:, 1], c=y_test, cmap='coolwarm', s=30, edgecolors='k')
plt.title("未优化的多类别SVM分类结果", fontname='KaiTi')
plt.show()
# 优化后的多类别SVM模型
model_optimized = SVC(kernel='rbf', C=10.0, gamma=0.1, decision_function_shape='ovr')
model_optimized.fit(X_train, y_train)
# 预测与结果分析
y_pred_optimized = model_optimized.predict(X_test)
print("优化后模型分类报告：")
print(classification_report(y_test, y_pred_optimized))
# 使用PCA降维到2D用于可视化
X_test_pca_optimized = pca.transform(X_test)
# 可视化结果
plt.figure(figsize=(10, 6))
plt.scatter(X_test_pca_optimized[:, 0], X_test_pca_optimized[:, 1], c=y_test, cmap='coolwarm', s=30, edgecolors='k')
plt.title("优化后的多类别SVM分类结果", fontname='KaiTi')
plt.show()
结果与解释
未优化模型
- 分类报告显示了精度、召回率和F1分数等指标：
- 精度（Precision）：表示在所有预测为正的样本中，实际为正的比例。
- 召回率（Recall）：表示在所有实际为正的样本中，被正确预测为正的比例。
- F1分数（F1 Score）：精度和召回率的调和平均值，综合考虑了二者的表现。
- 可视化图展示了未优化模型的分类边界和测试集数据点。不同颜色表示不同类别的样本。
优化后的模型
- 优化后的分类报告显示了更高的精度、召回率和F1分数，表明模型性能提升。
- 优化后的可视化图展示了改进后的分类边界，更好地分隔了数据点。
总结
通过调整多类别SVM的参数（如 C和 ），可以显著提升模型的分类性能。优化后的模型在测试集上的表现优于未优化模型，分类边界更加清晰，分类效果更好。