机器学习入门，支持向量机

原理简介

支持向量机寻找一个最优超平面来分隔不同类别的数据，目标是最大化边界（margin）------即超平面到最近数据点的距离。

场景：客户信用评分

● 问题描述：银行需要根据客户的收入（特征1）和负债（特征2）判断其信用等级（高风险/低风险）。

● 数据特点：

● 线性可分：客户数据分布存在明显分离边界（如 make_blobs 生成的两簇数据）。

● 小样本：数据量较小（100 个样本），适合 SVM 的小样本优势。

● 适用性：

●SVM 的线性核（kernel='linear'）适合低维且线性可分的数据。

● 若特征维度较高（如文本分类），可改用 RBF 核（kernel='rbf'）。

代码适配性

● 特征映射：X:, 0 和 X:, 1 可替换为客户收入和负债的标准化值。

● 标签映射：y 表示信用等级（0=高风险，1=低风险）。

● 输出结果：模型可预测新客户的信用等级，并通过决策边界直观展示风险分界。

模块化代码

将代码拆分为独立函数，提升可读性和复用性：

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score


# 1. 数据生成
def generate_data(n_samples=100, centers=2, cluster_std=1.0, random_state=42):
    X, y = datasets.make_blobs(n_samples=n_samples, centers=centers,
                               cluster_std=cluster_std, random_state=random_state)
    return X, y


# 2. 数据划分
def split_data(X, y, test_size=0.2, random_state=42):
    return train_test_split(X, y, test_size=test_size, random_state=random_state)


# 3. 模型训练
def train_svm(X_train, y_train, kernel='linear', C=1.0):
    model = SVC(kernel=kernel, C=C)
    model.fit(X_train, y_train)
    return model


# 4. 模型评估
def evaluate_model(model, X_test, y_test):
    y_pred = model.predict(X_test)
    accuracy = accuracy_score(y_test, y_pred)
    print(f"SVM 准确率: {accuracy:.2f}")
    return y_pred, accuracy


# 5. 可视化结果
def plot_svm_result(X, y, model):
    plt.figure(figsize=(10, 6))
    plt.rcParams['font.sans-serif'] = ['Hiragino Sans GB']  # 指定默认字体为黑体
    plt.rcParams['axes.unicode_minus'] = False  # 解决负号 '-' 显示为方块的问题

    # 绘制数据点
    plt.scatter(X[:, 0], X[:, 1], c=y, cmap='viridis', s=50, alpha=0.8)

    # 创建网格绘制决策边界
    ax = plt.gca()
    xlim = ax.get_xlim()
    ylim = ax.get_ylim()

    xx = np.linspace(xlim[0], xlim[1], 30)
    yy = np.linspace(ylim[0], ylim[1], 30)
    YY, XX = np.meshgrid(yy, xx)
    xy = np.vstack([XX.ravel(), YY.ravel()]).T
    Z = model.decision_function(xy).reshape(XX.shape)

    # 绘制决策边界和间隔
    ax.contour(XX, YY, Z, colors='k', levels=[-1, 0, 1],
               alpha=0.5, linestyles=['--', '-', '--'])

    # 标记支持向量
    ax.scatter(model.support_vectors_[:, 0], model.support_vectors_[:, 1],
               s=100, linewidth=1, facecolors='none', edgecolors='k')

    plt.title('SVM 分类结果 (支持向量已圈出)')
    plt.xlabel('特征1')
    plt.ylabel('特征2')
    plt.show()


# 主程序
def main():
    # 数据生成
    X, y = generate_data()

    # 数据划分
    X_train, X_test, y_train, y_test = split_data(X, y)

    # 模型训练
    svm_model = train_svm(X_train, y_train)

    # 模型评估
    y_pred, accuracy = evaluate_model(svm_model, X_test, y_test)

    # 可视化
    plot_svm_result(X, y, svm_model)


if __name__ == "__main__":
    main()

代码结果

SVM 准确率: 1.00

附加说明

准确率公式

其中：

TP（True Positive）：正类预测为正类（正确）。

TN（True Negative）：负类预测为负类（正确）。

FP（False Positive）：负类预测为正类（错误）。

FN（False Negative）：正类预测为负类（错误）。

计算准确率

方法1：依托现成函数

上述代码中的计算准确率使用的是现成的方法：

accuracy = accuracy_score(y_test, y_pred)

方法2：手工计算

● 对比预测值与真实值：

pythoncorrect = sum(y_pred == y_test)  # 正确预测的数量
total = len(y_test)              # 总样本数

● 计算准确率：

pythonaccuracy = correct / total