python数据分析与可视化

python数据分析与可视化

1. 数据准备

bash 复制代码
数据加载:从文件、数据库、API 中导入数据。
数据清理:处理缺失值、重复数据、异常值,转换数据类型等。

2. 数据分析

bash 复制代码
基本统计分析:计算均值、中位数、方差等统计量,进行初步了解。
探索性数据分析(EDA):使用分组、聚合、透视表等技术,深入分析不同维度数据。

3. 数据可视化

bash 复制代码
基础可视化:通过折线图、散点图、直方图等观察数据的分布和关系。
高级可视化:包括交互式可视化、分面图、多变量图等,进一步挖掘数据背后的复杂模式。

4. 模型构建与评估(如需)

bash 复制代码
机器学习模型:使用回归、分类或聚类模型,对数据进行预测、分类或分群。
模型评估:通过交叉验证、混淆矩阵、ROC 曲线等评价模型性能。
详细步骤和代码示例:

Step 1: 数据准备

1.1 导入必要的库

bash 复制代码
import pandas as pd  # 数据处理
import numpy as np   # 数值计算
import matplotlib.pyplot as plt  # 基础绘图
import seaborn as sns  # 高级绘图
import plotly.express as px  # 交互式绘图

1.2 加载数据

bash 复制代码
使用 Pandas 读取 CSV 文件(或 Excel、SQL 数据库等)。

# 从 CSV 文件加载数据
data = pd.read_csv('data.csv')

# 查看前几行数据
print(data.head())

# 查看数据的基本信息
print(data.info())

1.3 数据清理

bash 复制代码
处理缺失值:可以使用均值填充、删除等方法。
处理重复值:检查并删除重复的行。
转换数据类型:确保数据类型正确(例如字符串转换为类别型,日期转换为 datetime)。

# 检查缺失值
print(data.isnull().sum())

# 填充缺失值或删除缺失行
data['column_name'].fillna(data['column_name'].mean(), inplace=True)
data.dropna(subset=['important_column'], inplace=True)

# 删除重复行
data.drop_duplicates(inplace=True)

# 数据类型转换
data['date'] = pd.to_datetime(data['date'])

Step 2: 数据分析

2.1 基本统计分析

bash 复制代码
通过 .describe() 方法获得数据的基本统计信息。

# 查看数值型列的基本统计信息
print(data.describe())

# 统计类别型列的分布
print(data['category_column'].value_counts())

2.2 数据分组与聚合

使用 Pandas 的 .groupby() 方法进行分组和聚合,了解数据的各类统计信息。

bash 复制代码
# 按类别分组计算均值
grouped_data = data.groupby('category')['value_column'].mean()
print(grouped_data)

# 透视表(Pivot Table)
pivot_table = data.pivot_table(index='category', columns='sub_category', values='value_column', aggfunc='mean')
print(pivot_table)

Step 3: 数据可视化

3.1 基础可视化(Matplotlib 和 Seaborn)

1. 条形图(Bar Plot):展示分类变量的比较。
bash 复制代码
# Seaborn 绘制条形图
sns.barplot(x='category', y='value_column', data=data)
plt.title("Category vs Value")
plt.show()
2. 折线图(Line Plot):展示时间序列数据或趋势。
bash 复制代码
# Matplotlib 绘制折线图
plt.plot(data['date'], data['value_column'])
plt.title("Value over Time")
plt.xlabel('Date')
plt.ylabel('Value')
plt.show()
3. 直方图(Histogram):展示单变量的分布。
bash 复制代码
# Seaborn 绘制直方图
sns.histplot(data['value_column'], bins=30, kde=True)
plt.title("Distribution of Values")
plt.show()
4. 散点图(Scatter Plot):展示两变量间的关系。
bash 复制代码
# Seaborn 绘制散点图
sns.scatterplot(x='value_column1', y='value_column2', data=data, hue='category')
plt.title("Scatter Plot of Value 1 vs Value 2")
plt.show()

3.2 高级可视化(Seaborn、Plotly)

1. 热力图(Heatmap):展示多变量的相关性。
bash 复制代码
# 计算相关矩阵
corr_matrix = data.corr()

# 绘制热力图
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')
plt.title("Correlation Matrix Heatmap")
plt.show()
2. 分面图(Facet Grid):按子集分割数据进行可视化。
bash 复制代码
# Seaborn 的 FacetGrid
g = sns.FacetGrid(data, col='category')
g.map(sns.histplot, 'value_column')
plt.show()
3. 交互式图表(Plotly):
bash 复制代码
# Plotly 绘制交互式散点图
fig = px.scatter(data, x='value_column1', y='value_column2', color='category', size='value_column3', hover_data=['extra_info'])
fig.show()

Step 4: 模型构建与评估(可选)

4.1 机器学习模型(Scikit-learn)

bash 复制代码
以回归分析为例:

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

# 划分训练集和测试集
X = data[['feature1', 'feature2']]
y = data['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 训练线性回归模型
model = LinearRegression()
model.fit(X_train, y_train)

# 预测并计算误差
y_pred = model.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
print(f'Mean Squared Error: {mse}')

4.2 模型评估

bash 复制代码
通过交叉验证、混淆矩阵、ROC 曲线等技术评估模型性能。

from sklearn.model_selection import cross_val_score

# 交叉验证评估模型
scores = cross_val_score(model, X, y, cv=5, scoring='neg_mean_squared_error')
print(f'Cross-validated MSE: {-np.mean(scores)}')
相关推荐
网易独家音乐人Mike Zhou2 小时前
【卡尔曼滤波】数据预测Prediction观测器的理论推导及应用 C语言、Python实现(Kalman Filter)
c语言·python·单片机·物联网·算法·嵌入式·iot
安静读书3 小时前
Python解析视频FPS(帧率)、分辨率信息
python·opencv·音视频
小二·4 小时前
java基础面试题笔记(基础篇)
java·笔记·python
小喵要摸鱼6 小时前
Python 神经网络项目常用语法
python
一念之坤7 小时前
零基础学Python之数据结构 -- 01篇
数据结构·python
wxl7812277 小时前
如何使用本地大模型做数据分析
python·数据挖掘·数据分析·代码解释器
NoneCoder7 小时前
Python入门(12)--数据处理
开发语言·python
LKID体8 小时前
Python操作neo4j库py2neo使用(一)
python·oracle·neo4j
小尤笔记9 小时前
利用Python编写简单登录系统
开发语言·python·数据分析·python基础
FreedomLeo19 小时前
Python数据分析NumPy和pandas(四十、Python 中的建模库statsmodels 和 scikit-learn)
python·机器学习·数据分析·scikit-learn·statsmodels·numpy和pandas