西南交通大学【机器学习实验6】

实验目的及内容

理解和掌握支持向量机基本原理和方法,理解数据线性可分性,理解支持向量机对偶问题,理解支持向量机核函数等概念,掌握间隔、支持向量、对偶、核函数等概念及计算方法。

实验要求

基于给定数据集,编程实现软间隔线性支持向量机模型,采用随机梯度下降方法对模型进行训练。初始参数w 1 =0, w 2 =0,b=0 ,参数C=100 ,学习率α=0.001。绘制训练集精度迭代曲线,绘制分类超平面,给出最终支持向量机表达式和模型在测试集上的精度。

实验环境

python、numpy、matplotlib

实验代码

python 复制代码
import numpy as np

import matplotlib.pyplot as plt

import matplotlib



matplotlib.use('TKAgg')



# 导入训练数据

train_dataset = np.genfromtxt("experiment_06_training_set.csv", delimiter=",", skip_header=1)

# 获取训练数据的条数以及列数

rowOfTrainDataset = train_dataset.shape[0]

columnOfTrainDataset = train_dataset.shape[1]

# 从训练数据中分离属性和标签

yOfTrainDataset = train_dataset[:, 2:3]

xOfTrainDataset = train_dataset[:, 0:2]



# 导入测试数据

test_dataset = np.genfromtxt("experiment_06_testing_set.csv", delimiter=",", skip_header=1)

# 获取测试数据的条数

rowOfTestDataset = test_dataset.shape[0]

# 从测试数据中分离属性和标签

yOfTestDataset = test_dataset[:, 2:3]

xOfTestDataset = test_dataset[:, 0:2]



# 超参数设置

C = 100

lr = 0.001



# 初始化W和b

W = np.zeros((2, 1))

b = 0



# 初始化画精度曲线的x轴和y轴

x_line = np.arange(1, rowOfTrainDataset+1).reshape(rowOfTrainDataset, 1)

y_line = np.zeros((rowOfTrainDataset, 1))

# 随机梯度下降

for i in range(rowOfTrainDataset):

    # 获取样本的x和y并调整规模

    x = xOfTrainDataset[i, :].reshape(2, 1)

    y = yOfTrainDataset[i, 0]

    # 如果违反间隔

    if y * (W.T @ x + b) < 1:

        dw = W - C * y * x

        db = -C * y

    # 不违反间隔

    else:

        dw = W

        db = 0

    # 更新参数

    W -= lr * dw

    b -= lr * db



    # 计算精度并打印结果

    accuracyOfTrainDataset = np.sum(np.sign(W.T @ xOfTrainDataset.T + b).T == yOfTrainDataset) / rowOfTrainDataset

    y_line[i, 0] = accuracyOfTrainDataset

    print(f"index: {i} | accuracy: {accuracyOfTrainDataset: .4f}")



# 画精度曲线

plt.figure(1)

plt.plot(x_line, y_line, color='b', linewidth=1.5, label='Accuracy line')

plt.xlabel("index", fontsize=12)

plt.ylabel("Accuracy", fontsize=12)

plt.title("Accuracy line", fontsize=14)

plt.legend(loc='upper right', frameon=True)

plt.grid(alpha=0.3, linestyle=':')

plt.ylim(0, 1.1)

plt.tight_layout()



# 准备两类点以及分割超平面的数据

train_label_1 = xOfTrainDataset[yOfTrainDataset.flatten() == 1]

train_label_0 = xOfTrainDataset[yOfTrainDataset.flatten() == -1]

line_x = np.arange(-1, 5).reshape(6, 1)

line_y = (W[0, 0] * line_x + b) / (-W[1, 0])



# 画分割超平面

plt.figure(2)

plt.scatter(train_label_1[:, 0], train_label_1[:, 1], color='r', alpha=0.7, edgecolors='white', s=10, label='Label 1')

plt.scatter(train_label_0[:, 0], train_label_0[:, 1], color='b', alpha=0.7, edgecolors='white', s=10, label='Label -1')

plt.plot(line_x, line_y, color='g', linewidth=1.5, label='separating hyperplane')

plt.title("separating hyperplane", fontsize=14)

plt.xlabel("X-axis", fontsize=12)

plt.ylabel("Y-axis", fontsize=12)

plt.legend(loc='upper right', frameon=True)

plt.grid(alpha=0.3, linestyle=':')

plt.tight_layout()



plt.show()



# 打印SVM表达式

print(f"支持向量机表达式: {W[0, 0]: .4f} * x1 + {W[1, 0]: .4f} * x2 + {b: .4f} = 0")



# 计算并打印测试集精度

accuracyOfTestDataset = np.sum(np.sign(W.T @ xOfTestDataset.T + b).T == yOfTestDataset) / rowOfTestDataset

print(f"测试集精度: {accuracyOfTestDataset * 100: .4f}%")

结果分析

训练集精度迭代曲线

分类超平面图

支持向量机表达式

y = sgn(1.3027 * x1 -- 1.2594 * x2 + 1.2000)

测试集上精度:

测试集精度:100.0000%

相关推荐
麻雀无能为力29 分钟前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
时序之心33 分钟前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
.30-06Springfield1 小时前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习
说私域2 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技2 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_12 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
书玮嘎3 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
猫头虎4 小时前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程
要努力啊啊啊4 小时前
YOLOv2 正负样本分配机制详解
人工智能·深度学习·yolo·计算机视觉·目标跟踪