python数据分析与可视化
1. 数据准备
bash
数据加载:从文件、数据库、API 中导入数据。
数据清理:处理缺失值、重复数据、异常值,转换数据类型等。
2. 数据分析
bash
基本统计分析:计算均值、中位数、方差等统计量,进行初步了解。
探索性数据分析(EDA):使用分组、聚合、透视表等技术,深入分析不同维度数据。
3. 数据可视化
bash
基础可视化:通过折线图、散点图、直方图等观察数据的分布和关系。
高级可视化:包括交互式可视化、分面图、多变量图等,进一步挖掘数据背后的复杂模式。
4. 模型构建与评估(如需)
bash
机器学习模型:使用回归、分类或聚类模型,对数据进行预测、分类或分群。
模型评估:通过交叉验证、混淆矩阵、ROC 曲线等评价模型性能。
详细步骤和代码示例:
Step 1: 数据准备
1.1 导入必要的库
bash
import pandas as pd # 数据处理
import numpy as np # 数值计算
import matplotlib.pyplot as plt # 基础绘图
import seaborn as sns # 高级绘图
import plotly.express as px # 交互式绘图
1.2 加载数据
bash
使用 Pandas 读取 CSV 文件(或 Excel、SQL 数据库等)。
# 从 CSV 文件加载数据
data = pd.read_csv('data.csv')
# 查看前几行数据
print(data.head())
# 查看数据的基本信息
print(data.info())
1.3 数据清理
bash
处理缺失值:可以使用均值填充、删除等方法。
处理重复值:检查并删除重复的行。
转换数据类型:确保数据类型正确(例如字符串转换为类别型,日期转换为 datetime)。
# 检查缺失值
print(data.isnull().sum())
# 填充缺失值或删除缺失行
data['column_name'].fillna(data['column_name'].mean(), inplace=True)
data.dropna(subset=['important_column'], inplace=True)
# 删除重复行
data.drop_duplicates(inplace=True)
# 数据类型转换
data['date'] = pd.to_datetime(data['date'])
Step 2: 数据分析
2.1 基本统计分析
bash
通过 .describe() 方法获得数据的基本统计信息。
# 查看数值型列的基本统计信息
print(data.describe())
# 统计类别型列的分布
print(data['category_column'].value_counts())
2.2 数据分组与聚合
使用 Pandas 的 .groupby() 方法进行分组和聚合,了解数据的各类统计信息。
bash
# 按类别分组计算均值
grouped_data = data.groupby('category')['value_column'].mean()
print(grouped_data)
# 透视表(Pivot Table)
pivot_table = data.pivot_table(index='category', columns='sub_category', values='value_column', aggfunc='mean')
print(pivot_table)
Step 3: 数据可视化
3.1 基础可视化(Matplotlib 和 Seaborn)
1. 条形图(Bar Plot):展示分类变量的比较。
bash
# Seaborn 绘制条形图
sns.barplot(x='category', y='value_column', data=data)
plt.title("Category vs Value")
plt.show()
2. 折线图(Line Plot):展示时间序列数据或趋势。
bash
# Matplotlib 绘制折线图
plt.plot(data['date'], data['value_column'])
plt.title("Value over Time")
plt.xlabel('Date')
plt.ylabel('Value')
plt.show()
3. 直方图(Histogram):展示单变量的分布。
bash
# Seaborn 绘制直方图
sns.histplot(data['value_column'], bins=30, kde=True)
plt.title("Distribution of Values")
plt.show()
4. 散点图(Scatter Plot):展示两变量间的关系。
bash
# Seaborn 绘制散点图
sns.scatterplot(x='value_column1', y='value_column2', data=data, hue='category')
plt.title("Scatter Plot of Value 1 vs Value 2")
plt.show()
3.2 高级可视化(Seaborn、Plotly)
1. 热力图(Heatmap):展示多变量的相关性。
bash
# 计算相关矩阵
corr_matrix = data.corr()
# 绘制热力图
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')
plt.title("Correlation Matrix Heatmap")
plt.show()
2. 分面图(Facet Grid):按子集分割数据进行可视化。
bash
# Seaborn 的 FacetGrid
g = sns.FacetGrid(data, col='category')
g.map(sns.histplot, 'value_column')
plt.show()
3. 交互式图表(Plotly):
bash
# Plotly 绘制交互式散点图
fig = px.scatter(data, x='value_column1', y='value_column2', color='category', size='value_column3', hover_data=['extra_info'])
fig.show()
Step 4: 模型构建与评估(可选)
4.1 机器学习模型(Scikit-learn)
bash
以回归分析为例:
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error
# 划分训练集和测试集
X = data[['feature1', 'feature2']]
y = data['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 训练线性回归模型
model = LinearRegression()
model.fit(X_train, y_train)
# 预测并计算误差
y_pred = model.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
print(f'Mean Squared Error: {mse}')
4.2 模型评估
bash
通过交叉验证、混淆矩阵、ROC 曲线等技术评估模型性能。
from sklearn.model_selection import cross_val_score
# 交叉验证评估模型
scores = cross_val_score(model, X, y, cv=5, scoring='neg_mean_squared_error')
print(f'Cross-validated MSE: {-np.mean(scores)}')