数据挖掘之认识数据

在数据挖掘过程中，数据的认识是非常重要的一步，它为后续的数据分析、建模、特征选择等工作奠定基础。以鸢尾花数据集（Iris Dataset）数据集之鸢尾花数据集（Iris Dataset）-CSDN博客为例，下面将介绍如何从数据下载到可视化展示进行深入认识。

1. 数据下载

鸢尾花数据集是一个经典的机器学习数据集，通常用于分类任务。这个数据集可以从多个来源获得，包括通过sklearn库直接加载。

from sklearn.datasets import load_iris

# 加载鸢尾花数据集
iris = load_iris()

# 查看数据集的基本信息
print(iris.keys())

数据集包含以下几个重要部分：

data: 特征数据，包含150个样本，每个样本有4个特征（如花萼长度、花萼宽度、花瓣长度、花瓣宽度）。
target: 目标标签，包含样本所属的类别（共三类：Setosa, Versicolor, Virginica）。
feature_names: 特征的名称（例如 'sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)'）。
target_names: 类别的名称（例如 'setosa', 'versicolor', 'virginica'）。
DESCR: 数据集的描述信息。

2. 数据加载与基本信息

使用sklearn加载数据后，可以通过pandas将其转换为DataFrame，更便于查看和操作。

import pandas as pd

# 将数据转换为pandas DataFrame
iris_df = pd.DataFrame(data=iris.data, columns=iris.feature_names)

# 将目标标签添加到DataFrame中
iris_df['species'] = pd.Categorical.from_codes(iris.target, iris.target_names)

# 查看数据集基本信息
print(iris_df.info())

# 查看数据集的前几行
print(iris_df.head())

3. 数据统计描述

我们可以查看数据集的统计描述信息，了解每个特征的分布情况。

# 获取数据的统计描述
print(iris_df.describe())

4. 数据可视化

数据可视化可以帮助我们理解特征之间的关系，识别数据的模式，并且能够分辨不同类别样本在特征空间中的分布情况。

4.1 成对关系图（Pairplot）

成对关系图能够展示所有特征之间的两两关系，并且可以通过颜色区分不同类别。

import seaborn as sns

# 绘制成对关系图
sns.pairplot(iris_df, hue='species', palette='Set2')

4.2 箱线图（Boxplot）

箱线图能帮助我们观察每个特征的分布情况，并检测是否存在异常值。

# 绘制箱线图
plt.figure(figsize=(10, 6))
sns.boxplot(x='species', y='sepal length (cm)', data=iris_df)
plt.title('Boxplot of Sepal Length by Species')
plt.show()

4.3 热力图（Heatmap）

热力图可以帮助我们了解特征之间的相关性，并观察是否存在多重共线性。

import matplotlib.pyplot as plt
import seaborn as sns

# 计算特征之间的相关性
correlation = iris_df.iloc[:, :-1].corr()

# 绘制热力图
plt.figure(figsize=(8, 6))
sns.heatmap(correlation, annot=True, cmap='coolwarm', fmt='.2f')
plt.title('Correlation Heatmap of Iris Dataset')
plt.show()

5. 处理缺失值（如果有）

虽然鸢尾花数据集本身没有缺失值，但在实际数据中，缺失值的处理是很常见的。我们可以使用pandas来检查并处理缺失值：

# 检查缺失值
print(iris_df.isnull().sum())

# 假设有缺失值的列，使用均值填充
iris_df.fillna(iris_df.mean(), inplace=True)

7. 2D和3D可视化

2D可视化

import matplotlib.pyplot as plt
import numpy as np
from sklearn.datasets import load_iris

# Load the Iris dataset
iris = load_iris()
X = iris.data[:, :2]  # Use the first two features (Sepal Length and Sepal Width)
y = iris.target

# Create a 2D scatter plot
fig = plt.figure(figsize=(10, 7))
ax = fig.add_subplot(111)

# Map species to colors
colors = ['r', 'g', 'b']
species_names = iris.target_names

# Plot each species
for i in range(3):
    ax.scatter(X[y == i, 0], X[y == i, 1], label=species_names[i], color=colors[i], alpha=0.6)

ax.set_xlabel('Sepal Length (cm)')
ax.set_ylabel('Sepal Width (cm)')
ax.set_title('2D Scatter Plot of Iris Dataset')
ax.legend()
plt.show()

3D可视化

import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
import numpy as np

# Extract features and target
X = iris.data[:, :3]  # Use the first three features for 3D visualization
y = iris.target

# Create a 3D scatter plot
fig = plt.figure(figsize=(10, 7))
ax = fig.add_subplot(111, projection='3d')

# Map species to colors
colors = ['r', 'g', 'b']
species_names = iris.target_names

for i in range(3):
    ax.scatter(X[y == i, 0], X[y == i, 1], X[y == i, 2], label=species_names[i], color=colors[i], alpha=0.6)

ax.set_xlabel('Sepal Length (cm)')
ax.set_ylabel('Sepal Width (cm)')
ax.set_zlabel('Petal Length (cm)')
ax.set_title('3D Scatter Plot of Iris Dataset')
ax.legend()
plt.show()

7. 小结

通过加载、查看和可视化鸢尾花数据集，我们可以更好地理解数据的结构、特征分布以及不同类别样本的区分度。这为后续的数据分析、特征选择以及机器学习建模提供了重要的基础。数据挖掘的第一步是对数据的深刻理解，只有了解了数据，才能采取合适的预处理步骤，最终构建有效的模型。

8. 总结

数据下载与加载 : 使用sklearn.datasets.load_iris()加载数据，并通过pandas查看数据。
统计描述 : 使用describe()查看数据的基本统计信息。
可视化 : 使用seaborn绘制成对关系图、箱线图和热力图，了解数据的分布和特征之间的关系。
缺失值处理 : 使用pandas处理缺失值（在实际情况中常见）。