[DS]使用 Python 库中自带的数据集来实现上述 50 个数据分析和数据可视化程序的示例代码

元直数字电路验证2025-05-31 7:05

使用 Python 库中自带的数据集来实现上述 50 个数据分析和数据可视化程序的示例代码

摘要：由于 sample_data.csv 是一个占位符文件，用于代表任意数据集，我将使用 Python 库中自带的数据集来实现上述 50 个数据分析和数据可视化程序的示例代码。Python 的 seaborn 库提供了多个内置数据集，其中 iris 数据集是一个经典的例子，包含了鸢尾花的特征数据，适合用于演示数据分析和可视化技术。iris 数据集包含 150 个样本，4 个特征（sepal_length, sepal_width, petal_length, petal_width）和 1 个目标变量（species），非常适合用于分类、回归和可视化任务。

以下是基于 iris 数据集重新实现的上述 50 个程序中的代表性示例，覆盖数据加载、预处理、统计分析、可视化基础、高级可视化和高级分析等部分。由于篇幅限制，我将选择每个部分的几个关键程序进行完整代码展示，并对其他程序提供简要说明。如果你需要某个特定程序的完整代码或对其他数据集有需求，请进一步说明。

使用 Seaborn 的 Iris 数据集实现示例

1. 数据分析基础 - 数据加载与预处理
1.1 数据加载
  • 目标 ：加载 iris 数据集并查看基本信息。
  • 代码：
cpp 复制代码 
import seaborn as sns
import pandas as pd

# 加载 iris 数据集
df = sns.load_dataset('iris')

# 查看前 5 行数据
print("First 5 rows:\n", df.head())

# 查看数据集信息
print("\nDataset Info:\n", df.info())

# 查看基本统计量
print("\nBasic Statistics:\n", df.describe())
1.2 数据清洗 - 缺失值处理
  • 目标 ：检查并处理缺失值（iris 数据集无缺失值，仅作演示）。
  • 代码：
cpp 复制代码 
import seaborn as sns
import pandas as pd

df = sns.load_dataset('iris')

# 检查缺失值
print("Missing Values:\n", df.isnull().sum())

# 如果有缺失值，用均值填充（这里无缺失，仅演示）
df['sepal_length'].fillna(df['sepal_length'].mean(), inplace=True)

# 删除包含缺失值的行（如果有）
df.dropna(inplace=True)

print("Missing Values after Handling:\n", df.isnull().sum())
1.3 数据清洗 - 异常值检测
  • 目标 ：使用 IQR 方法检测并移除 sepal_length 的异常值。
  • 代码：
cpp 复制代码 
import seaborn as sns
import pandas as pd
import numpy as np

df = sns.load_dataset('iris')

# 计算 IQR
Q1 = df['sepal_length'].quantile(0.25)
Q3 = df['sepal_length'].quantile(0.75)
IQR = Q3 - Q1

# 移除异常值
df_cleaned = df[(df['sepal_length'] >= Q1 - 1.5 * IQR) & (df['sepal_length'] <= Q3 + 1.5 * IQR)]

print("Data after removing outliers in sepal_length:\n", df_cleaned.describe())

其他程序简要说明 (1.4-1.10)：

  • 1.4 数据转换 - 标准化 ：对 iris 的特征（如 sepal_length, petal_length）使用 StandardScaler 标准化。
  • 1.5 数据转换 - 类别编码 ：对 species 列进行标签编码或独热编码。
  • 1.6 数据聚合 - 分组统计 ：按 species 分组，计算各特征的均值和计数。
  • 1.7 数据合并 - 合并数据集 ：可将 iris 数据集拆分为两部分后合并（演示 merge）。
  • 1.8 数据重塑 - 透视表 ：创建 species 和特征的透视表，计算均值。
  • 1.9 时间序列 - 日期处理 ：iris 无时间数据，可使用其他数据集（如 sns.load_dataset('flights')）演示。
  • 1.10 数据过滤 - 条件筛选 ：筛选 sepal_length 大于某个值的样本。

2. 统计分析与探索

2.1 描述性统计

  • 目标 ：计算 iris 数据集的基本统计量。
  • 代码：
cpp 复制代码 
import seaborn as sns
import pandas as pd

df = sns.load_dataset('iris')

# 计算描述性统计量
stats = df.describe()
print("Descriptive Statistics:\n", stats)

2.3 相关性分析

  • 目标 ：计算 iris 数据集特征间的相关系数。

  • 代码：

    import seaborn as sns
    import pandas as pd

    df = sns.load_dataset('iris')

    计算相关性矩阵

    corr_matrix = df.corr()
    print("Correlation Matrix:\n", corr_matrix)

其他程序简要说明 (2.2, 2.4-2.10)：

  • 2.2 频次分布 ：计算 species 的频次分布。
  • 2.4 假设检验 - t 检验 ：比较两个 species 的 sepal_length 均值差异。
  • 2.5 方差分析 (ANOVA) ：比较三个 species 的 sepal_length 均值差异。
  • 2.6 数据分布 - 直方图分析 ：绘制 sepal_length 的直方图。
  • 2.7 箱线图 - 异常值分析 ：绘制 sepal_length 的箱线图。
  • 2.8 数据分组 - 分位数分析 ：对 sepal_length 进行分位数分组。
  • 2.9 滚动平均 - 时间序列平滑 ：iris 无时间数据，可使用其他数据集。
  • 2.10 数据排序 - 排名分析 ：对 sepal_length 进行排名。

3. 数据可视化基础 - Matplotlib

3.2 散点图 - 相关性分析

  • 目标 ：绘制 sepal_length 和 sepal_width 的散点图。
  • 代码：
cpp 复制代码 
import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt

df = sns.load_dataset('iris')

# 绘制散点图
plt.scatter(df['sepal_length'], df['sepal_width'])
plt.xlabel('Sepal Length')
plt.ylabel('Sepal Width')
plt.title('Scatter Plot of Sepal Length vs Sepal Width')
plt.show()

3.3 直方图 - 分布分析

  • 目标 ：绘制 sepal_length 的直方图。
  • 代码：
cpp 复制代码 
import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt

df = sns.load_dataset('iris')

# 绘制直方图
plt.hist(df['sepal_length'], bins=20)
plt.xlabel('Sepal Length')
plt.ylabel('Frequency')
plt.title('Histogram of Sepal Length')
plt.show()

其他程序简要说明 (3.1, 3.4-3.10)：

  • 3.1 折线图 - 趋势分析 ：绘制 sepal_length 的折线图（可按索引排序）。
  • 3.4 箱线图 - 异常值可视化 ：绘制 sepal_length 的箱线图。
  • 3.5 条形图 - 类别比较 ：绘制 species 类别中 sepal_length 均值的条形图。
  • 3.6 饼图 - 比例分析 ：绘制 species 分布的饼图。
  • 3.7 面积图 - 累计趋势 ：绘制 sepal_length 的面积图。
  • 3.8 多子图 - 对比分析 ：绘制 sepal_length 和 sepal_width 的多子图。
  • 3.9 自定义样式 - 美化图表 ：自定义 sepal_length 折线图样式。
  • 3.10 注释 - 图表标注 ：在 sepal_length 图表上添加最大值注释。

4. 数据可视化高级 - Seaborn 和 Plotly

4.1 Seaborn 热图 - 相关性可视化

  • 目标 ：绘制 iris 数据集的特征相关性热图。
  • 代码：
cpp 复制代码 
import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt

df = sns.load_dataset('iris')

# 计算相关性矩阵
corr_matrix = df.corr()

# 绘制热图
plt.figure(figsize=(8, 6))
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm', vmin=-1, vmax=1, center=0)
plt.title('Correlation Heatmap of Iris Dataset')
plt.show()

4.2 Seaborn 成对图 - 多变量关系

  • 目标 ：绘制 iris 数据集的成对图。
  • 代码：
cpp 复制代码 
import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt

df = sns.load_dataset('iris')

# 绘制成对图
sns.pairplot(df, hue='species', diag_kind='hist')
plt.suptitle('Pair Plot of Iris Dataset', y=1.02)
plt.show()

其他程序简要说明 (4.3-4.10)：

  • 4.3 Seaborn 箱线图 - 分组分布 ：绘制按 species 分组的 sepal_length 箱线图。
  • 4.4 Seaborn 小提琴图 - 分布密度 ：绘制按 species 分组的 sepal_length 小提琴图。
  • 4.5 Seaborn 回归图 - 线性关系 ：绘制 sepal_length 和 sepal_width 的回归图。
  • 4.6 Plotly 交互式折线图 ：绘制 sepal_length 的交互式折线图。
  • 4.7 Plotly 交互式散点图 ：绘制 sepal_length 和 sepal_width 的交互式散点图。
  • 4.8 Plotly 3D 散点图 ：绘制 sepal_length、sepal_width 和 petal_length 的 3D 散点图。
  • 4.9 Plotly 地图可视化 ：iris 无地理数据，可使用其他数据集（如 px.data.gapminder()）。
  • 4.10 Seaborn 主题与样式 ：设置 Seaborn 主题，绘制 sepal_length 折线图。

5. 高级数据分析与可视化

5.1 主成分分析 (PCA)

  • 目标 ：对 iris 数据集进行 PCA 降维。
  • 代码：
cpp 复制代码 
import seaborn as sns
import pandas as pd
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

df = sns.load_dataset('iris')

# 选择特征
X = df[['sepal_length', 'sepal_width', 'petal_length', 'petal_width']]

# 标准化数据
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 应用 PCA
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)

print("Explained Variance Ratio:", pca.explained_variance_ratio_)

5.2 K 均值聚类

  • 目标 ：对 iris 数据集进行 K 均值聚类。
  • 代码：
cpp 复制代码 
import seaborn as sns
import pandas as pd
from sklearn.cluster import KMeans

df = sns.load_dataset('iris')

# 选择特征
X = df[['sepal_length', 'sepal_width', 'petal_length', 'petal_width']]

# 应用 K 均值聚类
kmeans = KMeans(n_clusters=3, random_state=42)
df['cluster'] = kmeans.fit_predict(X)

print("Data with Clusters:\n", df.head())

其他程序简要说明 (5.3-5.10)：

  • 5.3 线性回归预测 ：使用 sepal_length 预测 sepal_width。
  • 5.4 决策树分类 ：使用特征预测 species。
  • 5.5 特征重要性分析 ：使用随机森林分析 iris 特征重要性。
  • 5.6 时间序列预测 - ARIMA ：iris 无时间数据，可使用其他数据集。
  • 5.7 聚类结果可视化：可视化 K 均值聚类结果。
  • 5.8 回归预测可视化：可视化线性回归预测。
  • 5.9 主成分分析可视化：可视化 PCA 降维结果。
  • 5.10 交互式仪表盘 - Dash ：创建 iris 数据集的交互式仪表盘。

总结和运行说明

数据集说明

  • Iris 数据集 ：seaborn.load_dataset('iris') 提供了 150 个鸢尾花样本，包含 4 个特征和 1 个类别标签，适合分类、回归和可视化任务。
  • 其他数据集 ：对于时间序列或地理数据分析，可使用 Seaborn 的 flights 数据集或 Plotly 的 gapminder 数据集。

运行环境

  • 安装库 ：确保安装必要的库：

    bash 复制代码 
    pip install pandas numpy matplotlib seaborn plotly scikit-learn statsmodels dash

  • 运行代码：将上述代码复制到 Python 环境（如 Jupyter Notebook 或 VS Code）中，运行即可查看结果。

  • 数据集适配 ：如果使用自己的 sample_data.csv，确保包含类似特征列（如数值列、类别列），并根据列名调整代码。

学习建议

  • 逐步执行：从数据加载和预处理开始，逐步进行统计分析和可视化，理解每个步骤的作用。
  • 对比结果：对比不同可视化方法（如 Matplotlib vs Seaborn）对同一数据的呈现效果。
  • 扩展实践 ：尝试对 iris 数据集应用所有 50 个程序，记录分析结果，构建完整分析报告。

通过以上基于 iris 数据集的示例，你可以快速实现上述 50 个程序，并逐步掌握数据分析和数据可视化的技能。如果需要某个程序的完整代码或其他数据集的适配示例，请进一步说明，我会提供更详细的支持。

相关推荐
心软且酷丶14 分钟前
leetcode:7. 整数反转（python3解法，数学相关算法题）
python·算法·leetcode
逾非时32 分钟前
python：selenium爬取网站信息
开发语言·python·selenium
天才测试猿34 分钟前
Selenium操作指南（全）
自动化测试·软件测试·python·selenium·测试工具·职场和发展·测试用例
不学无术の码农2 小时前
《Effective Python》第六章 推导式和生成器——避免在推导式中使用超过两个控制子表达式
开发语言·python
G皮T2 小时前
【Python Cookbook】文件与 IO（一）
python·i/o·文件·file
钮钴禄·爱因斯晨2 小时前
赛博算命之“帝王之术”——奇门遁甲的JAVA实现
java·开发语言·python
dudly2 小时前
Python字符串格式化(三）： t-string前瞻（Python 3.14 新特性）
开发语言·python
kyle~2 小时前
Pytorch---ImageFolder
人工智能·pytorch·python
向哆哆2 小时前
Java代码重构：如何提升项目的可维护性和扩展性？
java·python·重构
clearsky7672 小时前
数据分析的方法总结
数据挖掘·数据分析
热门推荐
01KGG转MP3工具|非KGM文件|解密音频02YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】03从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑04【无人机】无人机通信模块，无人机图数传模块的介绍，数传，图传，图传数传一体电台，05【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高，一键全文降！文件格式不变，公式都保留的！06DeepSeek各版本说明与优缺点分析07Trae AI 开发工具使用手册08Coze扣子平台完整体验和实践（附国内和国际版对比）09组基轨迹建模 GBTM的介绍与实现（Stata 或 R）10【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总