鸢尾花Iris训练数据和测试数据的分割和训练数据的散点图矩阵绘制

鸢尾花Iris训练数据和测试数据的分割和训练数据的散点图矩阵绘制

鸢尾花Iris训练数据和测试数据的分割和训练数据的散点图矩阵绘制

一、训练数据和测试数据

1.1 训练数据(training data)

用于构建机器学习模型的数据,叫作训练数据(training data)或训练集(training set)。

1.2 测试数据(test data)

用于评估模型性能的数据,称作测试数据(test data)或测试集(test set)或留出集(hold-out set)。

1.3 泛化能力 (Generalization ability)

泛化能力 (Generalization ability) 指的是一个模型在未见过的数据上的表现能力。 它衡量一个模型学习到的知识是否能够推广到新的、不同的数据,而不是仅仅在训练数据上表现良好。 一个具有良好泛化能力的模型,即使面对训练数据中未出现的情况,也能做出准确的预测或决策。

二、训练数据和测试数据分割

2.1 训练数据和测试数据的比例

训练数据与测试数据的分配比例可以是随意的,但是以25%的数据作为测试数据是一种好的经验法则。

训练集和测试集: 评估泛化能力的关键在于将数据集分成训练集和测试集。模型在训练集上进行学习,然后在从未见过数据的测试集上进行评估。测试集上的表现才是对泛化能力的真正检验。

2.2 Python中scikit-learn中训练数据和测试数据分割方法

在scikit-learn中,可以使用train_test_split函数进行数据集的分割。

例如,以鸢尾花数据集分割程序为例子:

python 复制代码
## 1. 从sklearn中加载数据集datasets
from sklearn import datasets
## 2.取出datasets数据集中的鸢尾花数据赋值给iris
iris = datasets.load_iris()    #iris为字典类型数据

## 3. 数据集分割为训练集和测试集
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test=train_test_split(iris['data'],iris['target'],random_state=0)

## 4.对训练集结构进行查看
print('X_train shape:{}'.format(X_train.shape))
print('y_train shape:{}'.format(y_train.shape))

## 5.对测试集结构进行查看
print('X_test shape:{}'.format(X_test.shape))
print('y_test shape:{}'.format(y_test.shape))

运行结果:

图1 运行结果

三、基于散点图矩阵的数据观察

3.1 安装pandas工具包

在电脑cmd指令窗,输入如下代码

python 复制代码
pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple

安装完成如图2所示。

图2 pandas工具包安装过程

3.2 安装mglearn工具包

在电脑cmd指令窗,输入如下代码

python 复制代码
pip install mglearn -i https://pypi.tuna.tsinghua.edu.cn/simple

安装完成如图3所示。

图3 mglearn工具包安装过程

3.3 绘制散点图矩阵

在绘制散点图矩阵前,除了安装pandas工具包、mglearn工具包外,还需要安装了sklearn工具包,matplotlib工具包等。

绘制散点图矩阵代码如下:

python 复制代码
## 1. 从sklearn中加载数据集datasets
from sklearn import datasets
## 2.取出datasets数据集中的鸢尾花数据赋值给iris
iris = datasets.load_iris()    #iris为字典类型数据

## 3. 数据集分割为训练集和测试集
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test=train_test_split(iris['data'],iris['target'],random_state=0)

## 4.对训练集结构进行查看
print('X_train shape:{}'.format(X_train.shape))
print('y_train shape:{}'.format(y_train.shape))

## 5.对测试集结构进行查看
print('X_test shape:{}'.format(X_test.shape))
print('y_test shape:{}'.format(y_test.shape))


## 6.散点图矩阵绘制
import matplotlib.pyplot as plt     #使用缩减的plt代替matplotlib
import pandas as pd
import mglearn
from pandas.plotting import scatter_matrix
iris_dataframe=pd.DataFrame(X_train,columns=iris.feature_names)
grr=scatter_matrix(iris_dataframe,c=y_train,figsize=(16,16),marker='o',hist_kwds={'bins':20},s=60,alpha=.8,cmap=mglearn.cm3)
plt.show()   #图显示

运行结果如图4所示:

图4 Iris数据集的散点图矩阵,按类别标签着色

四、总结

本文以鸢尾花数据iris数据为例,首先介绍了鸢尾花Iris数据分割为训练数据和测试数据并对train_test_split函数进行使用分割,最后对训练数据的散点图矩阵绘制进行了代码介绍并绘图。

相关推荐
Kratzdisteln9 分钟前
【Python】绘制椭圆眼睛跟随鼠标交互算法配图详解
python·数学·numpy·pillow·matplotlib·仿射变换
maxruan19 分钟前
PyTorch学习
人工智能·pytorch·python·学习
吃饭睡觉发paper29 分钟前
Learning Depth Estimation for Transparent and Mirror Surfaces
人工智能·机器学习·计算机视觉
唐古乌梁海40 分钟前
【python】在Django中,执行原生SQL查询
python·sql·django
程序员大雄学编程1 小时前
「用Python来学微积分」5. 曲线的极坐标方程
开发语言·python·微积分
一位代码2 小时前
python | requests爬虫如何正确获取网页编码?
开发语言·爬虫·python
可触的未来,发芽的智生2 小时前
新奇特:神经网络速比器,小镇债务清零的算法奇缘
javascript·人工智能·python
Aaplloo2 小时前
机器学习作业七
人工智能·机器学习
mortimer2 小时前
还在被 Windows 路径的大小写和正反斜杠坑?是时候让 pathlib 拯救你的代码了!
人工智能·python
std860213 小时前
Rust 与 Python – 这是未来的语言吗?
开发语言·python·rust