python数据分析与可视化

python数据分析与可视化

1. 数据准备

bash 复制代码
数据加载:从文件、数据库、API 中导入数据。
数据清理:处理缺失值、重复数据、异常值,转换数据类型等。

2. 数据分析

bash 复制代码
基本统计分析:计算均值、中位数、方差等统计量,进行初步了解。
探索性数据分析(EDA):使用分组、聚合、透视表等技术,深入分析不同维度数据。

3. 数据可视化

bash 复制代码
基础可视化:通过折线图、散点图、直方图等观察数据的分布和关系。
高级可视化:包括交互式可视化、分面图、多变量图等,进一步挖掘数据背后的复杂模式。

4. 模型构建与评估(如需)

bash 复制代码
机器学习模型:使用回归、分类或聚类模型,对数据进行预测、分类或分群。
模型评估:通过交叉验证、混淆矩阵、ROC 曲线等评价模型性能。
详细步骤和代码示例:

Step 1: 数据准备

1.1 导入必要的库

bash 复制代码
import pandas as pd  # 数据处理
import numpy as np   # 数值计算
import matplotlib.pyplot as plt  # 基础绘图
import seaborn as sns  # 高级绘图
import plotly.express as px  # 交互式绘图

1.2 加载数据

bash 复制代码
使用 Pandas 读取 CSV 文件(或 Excel、SQL 数据库等)。

# 从 CSV 文件加载数据
data = pd.read_csv('data.csv')

# 查看前几行数据
print(data.head())

# 查看数据的基本信息
print(data.info())

1.3 数据清理

bash 复制代码
处理缺失值:可以使用均值填充、删除等方法。
处理重复值:检查并删除重复的行。
转换数据类型:确保数据类型正确(例如字符串转换为类别型,日期转换为 datetime)。

# 检查缺失值
print(data.isnull().sum())

# 填充缺失值或删除缺失行
data['column_name'].fillna(data['column_name'].mean(), inplace=True)
data.dropna(subset=['important_column'], inplace=True)

# 删除重复行
data.drop_duplicates(inplace=True)

# 数据类型转换
data['date'] = pd.to_datetime(data['date'])

Step 2: 数据分析

2.1 基本统计分析

bash 复制代码
通过 .describe() 方法获得数据的基本统计信息。

# 查看数值型列的基本统计信息
print(data.describe())

# 统计类别型列的分布
print(data['category_column'].value_counts())

2.2 数据分组与聚合

使用 Pandas 的 .groupby() 方法进行分组和聚合,了解数据的各类统计信息。

bash 复制代码
# 按类别分组计算均值
grouped_data = data.groupby('category')['value_column'].mean()
print(grouped_data)

# 透视表(Pivot Table)
pivot_table = data.pivot_table(index='category', columns='sub_category', values='value_column', aggfunc='mean')
print(pivot_table)

Step 3: 数据可视化

3.1 基础可视化(Matplotlib 和 Seaborn)

1. 条形图(Bar Plot):展示分类变量的比较。
bash 复制代码
# Seaborn 绘制条形图
sns.barplot(x='category', y='value_column', data=data)
plt.title("Category vs Value")
plt.show()
2. 折线图(Line Plot):展示时间序列数据或趋势。
bash 复制代码
# Matplotlib 绘制折线图
plt.plot(data['date'], data['value_column'])
plt.title("Value over Time")
plt.xlabel('Date')
plt.ylabel('Value')
plt.show()
3. 直方图(Histogram):展示单变量的分布。
bash 复制代码
# Seaborn 绘制直方图
sns.histplot(data['value_column'], bins=30, kde=True)
plt.title("Distribution of Values")
plt.show()
4. 散点图(Scatter Plot):展示两变量间的关系。
bash 复制代码
# Seaborn 绘制散点图
sns.scatterplot(x='value_column1', y='value_column2', data=data, hue='category')
plt.title("Scatter Plot of Value 1 vs Value 2")
plt.show()

3.2 高级可视化(Seaborn、Plotly)

1. 热力图(Heatmap):展示多变量的相关性。
bash 复制代码
# 计算相关矩阵
corr_matrix = data.corr()

# 绘制热力图
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')
plt.title("Correlation Matrix Heatmap")
plt.show()
2. 分面图(Facet Grid):按子集分割数据进行可视化。
bash 复制代码
# Seaborn 的 FacetGrid
g = sns.FacetGrid(data, col='category')
g.map(sns.histplot, 'value_column')
plt.show()
3. 交互式图表(Plotly):
bash 复制代码
# Plotly 绘制交互式散点图
fig = px.scatter(data, x='value_column1', y='value_column2', color='category', size='value_column3', hover_data=['extra_info'])
fig.show()

Step 4: 模型构建与评估(可选)

4.1 机器学习模型(Scikit-learn)

bash 复制代码
以回归分析为例:

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

# 划分训练集和测试集
X = data[['feature1', 'feature2']]
y = data['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 训练线性回归模型
model = LinearRegression()
model.fit(X_train, y_train)

# 预测并计算误差
y_pred = model.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
print(f'Mean Squared Error: {mse}')

4.2 模型评估

bash 复制代码
通过交叉验证、混淆矩阵、ROC 曲线等技术评估模型性能。

from sklearn.model_selection import cross_val_score

# 交叉验证评估模型
scores = cross_val_score(model, X, y, cv=5, scoring='neg_mean_squared_error')
print(f'Cross-validated MSE: {-np.mean(scores)}')
相关推荐
丕羽44 分钟前
【Pytorch】基本语法
人工智能·pytorch·python
bryant_meng1 小时前
【python】Distribution
开发语言·python·分布函数·常用分布
m0_594526302 小时前
Python批量合并多个PDF
java·python·pdf
工业互联网专业3 小时前
Python毕业设计选题:基于Hadoop的租房数据分析系统的设计与实现
vue.js·hadoop·python·flask·毕业设计·源码·课程设计
钱钱钱端3 小时前
【压力测试】如何确定系统最大并发用户数?
自动化测试·软件测试·python·职场和发展·压力测试·postman
慕卿扬3 小时前
基于python的机器学习(二)—— 使用Scikit-learn库
笔记·python·学习·机器学习·scikit-learn
Json____3 小时前
python的安装环境Miniconda(Conda 命令管理依赖配置)
开发语言·python·conda·miniconda
小袁在上班3 小时前
Python 单元测试中的 Mocking 与 Stubbing:提高测试效率的关键技术
python·单元测试·log4j
白狐欧莱雅3 小时前
使用python中的pygame简单实现飞机大战游戏
经验分享·python·游戏·pygame
阿_旭3 小时前
基于YOLO11/v10/v8/v5深度学习的维修工具检测识别系统设计与实现【python源码+Pyqt5界面+数据集+训练代码】
人工智能·python·深度学习·qt·ai