现学现用,使用 Pandas 对上证指数历史数据进行探索性数据分析(EDA)

现学现用,使用 Pandas 对上证指数历史数据进行探索性数据分析(EDA)

探索性数据分析(Exploratory Data Analysis,简称 EDA)是数据科学中的重要步骤之一,通过对数据的初步探索,揭示数据的分布、趋势和异常。本文将以上证指数为例,使用 Python 中的 Pandas 库进行探索性数据分析,展示 Pandas 在金融数据分析中的应用。

本文参考了《时间序列分析实战:基于机器学习和统计学》一书的3.1.1节和3.1.2节。

(🧧领优惠券购买本书)

数据获取

首先,我们需要获取上证指数的历史数据。

比如我们可以从 cn.investing.com/indices/sha... 下载CSV格式的上证指数的历史数据。

python 复制代码
import matplotlib.pyplot as plt
import pandas as pd

# 将 `上证指数历史数据.csv` 转换为 Pandas 的 DataFrame
df = pd.read_csv('上证指数历史数据.csv')

# 显示数据的前几行
print(df.head())
bash 复制代码
          日期        收盘        开盘         高         低     交易量     涨跌幅
0   2024-2-2  2,730.15  2,773.29  2,791.68  2,666.33  42.62B  -1.46%
1   2024-2-1  2,770.74  2,773.42  2,805.01  2,752.78  35.29B  -0.64%
2  2024-1-31  2,788.55  2,815.50  2,834.01  2,782.59  37.71B  -1.48%
3  2024-1-30  2,830.53  2,866.28  2,881.35  2,829.25  33.57B  -1.83%
4  2024-1-29  2,883.36  2,910.61  2,923.90  2,883.33  41.06B  -0.92%

在进行探索性数据分析之前,我们通常需要对数据进行清洗和整理。

python 复制代码
# 将字符串形式的"收盘价"转换为小数类型
df['收盘'] = df['收盘'].str.replace(',', '').astype(float)

# 将字符串形式的"日期"转换为日期类型
df['日期'] = pd.to_datetime(df['日期'])

接下来,我们分别用折线图和直方图可视化开盘价随时间的变化。

python 复制代码
# 绘制折线图
df.plot(x='日期', y='收盘')
plt.show()
python 复制代码
# 绘制直方图
df['收盘'].hist(bins=30)
plt.show()

在分析时间序列时(尤其是在金融领域),带有趋势的数据不会产生非常有用的可视化结果。

但如果我们计算上证历史数据中前后时间点开盘价的差值(今日和昨日开盘价的差值),并绘制差值的直方图,就会得到一个正态分布。

python 复制代码
df['收盘'].diff().hist(bins=30)
plt.show()

原始数据的直方图非常宽,并未呈现出正态分布。但我们对数据进行差分计算之后,数据就被转换成正态分布了。

在进行时间序列分析时,对差分数据绘制直方图得到的结果通常更有趣。

我们通过直方图从差分后的序列中获得了新的信息。虽然上证指数的折线图描绘了某种经济前景,似乎股票还在跌,但没准、可能、也许差分数据的直方图更接近股民的日常体验。

差分数据的直方图告诉我们,时间序列的值在一段时间内上升(正值)和下降(负值)的幅度大体相同。但整体而言,股票指数的涨跌幅度并不完全相同,这一点可以通过计算偏度(skewness)来衡量。

python 复制代码
print(df['收盘'].skew())
# -0.21625010453647112
# 偏度为正:分布右偏,尾部延伸到右侧。大部分数据位于均值左侧,分布的右侧有一些较大的极端值。
# 偏度为负:分布左偏,尾部延伸到左侧。大部分数据位于均值右侧,分布的左侧有一些较小的极端值。

本文演示了如何使用 Pandas 对上证指数历史数据进行探索性数据分析。当然,EDA 的具体内容和深度取决于具体的研究问题和数据特点。希望通过这个示例,你能够初步掌握 Pandas 在金融数据分析中的应用,为后续深入研究提供基础。

相关推荐
巴里巴气6 分钟前
selenium基础知识 和 模拟登录selenium版本
爬虫·python·selenium·爬虫模拟登录
198911 分钟前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm
JavaEdge在掘金16 分钟前
Redis 数据倾斜?别慌!从成因到解决方案,一文帮你搞定
python
ansurfen20 分钟前
我的第一个AI项目:从零搭建RAG知识库的踩坑之旅
python·llm
前端付豪25 分钟前
20、用 Python + API 打造终端天气预报工具(支持城市查询、天气图标、美化输出🧊
后端·python
前端付豪31 分钟前
19、用 Python + OpenAI 构建一个命令行 AI 问答助手
后端·python
amazinging1 小时前
北京-4年功能测试2年空窗-报培训班学测开-第四十三天
python·学习
wgyang20162 小时前
我的第一个LangFlow工作流——复读机
python
Zhen (Evan) Wang2 小时前
(豆包)xgb.XGBRegressor 如何进行参数调优
开发语言·python
我爱一条柴ya2 小时前
【AI大模型】线性回归:经典算法的深度解析与实战指南
人工智能·python·算法·ai·ai编程