python爬虫实战——数据可视化

本篇文章将介绍如何利用Python爬虫获取数据并进行可视化展示，包括以下主要内容：

数据获取：使用requests库发送HTTP请求获取目标网页的数据；
数据解析：使用BeautifulSoup库对HTML代码进行解析提取所需数据；
数据存储：使用pandas库将数据保存至本地文件；
数据可视化：使用matplotlib和seaborn库对数据进行可视化展示。

代码示例中我们选取了新浪财经网站进行爬取，获取了股票的实时数据并进行了可视化展示。

1. 数据获取

在使用Python进行数据获取之前，需要安装requests库，我们可以使用pip命令进行安装。

复制代码

pip install requests

下面是获取股票实时数据的代码示例：

python 复制代码

import requests

url = 'http://hq.sinajs.cn/list=sh000001'
response = requests.get(url)
data = response.text
print(data)

首先我们定义了目标网页的URL地址，然后使用requests库发送HTTP请求获取网页数据。得到的response对象中包含了HTTP响应的状态码、响应头和响应体等信息，我们使用response.text获取响应体中的文本数据，即股票实时数据。

2. 数据解析

得到股票实时数据后，下一步是对数据进行解析，提取所需的信息。在Python中我们可以使用BeautifulSoup库对HTML代码进行解析，它提供了一种非常方便的方式来获取网页中的数据。

我们先来看看新浪财经网站上股票实时数据的HTML代码：

复制代码

var hq_str_sh000001="上证指数,3283.92,20.27,0.62,675021,8887585";

我们可以看到，股票实时数据以var hq_str_sh000001=开头，以分号结尾，中间是以逗号分隔的各个字段。我们可以使用字符串的split()函数将其分割成一个列表。

python 复制代码

from bs4 import BeautifulSoup

soup = BeautifulSoup(data, 'html.parser')
items = soup.text.split(',')
name = items[0].split('=')[1]
price = items[1]
change = items[2]
pchange = items[3]
volume = items[4]
amount = items[5][:-1]  # 去掉最后一个分号
print(name, price, change, pchange, volume, amount)

使用BeautifulSoup库解析HTML代码，我们可以方便地获取各个字段的值。在这里我们使用split()函数将text文本分割成一个列表，然后通过列表的下标获取所需的数据。注意最后一个字段amount中包含有分号，我们使用切片[:-1]去掉最后一个分号。

3. 数据存储

我们将股票实时数据保存至本地文件，以便后续的数据可视化展示。在Python中我们可以使用pandas库将数据保存为CSV文件。

python 复制代码

import pandas as pd

data = [[name, price, change, pchange, volume, amount]]
df = pd.DataFrame(data, columns=['name', 'price', 'change', 'pchange', 'volume', 'amount'])
df.to_csv('data.csv', index=False)

使用pandas库创建DataFrame对象，然后将数据保存为CSV文件。注意在保存CSV文件时需要将索引（index）设置为False，否则会将索引也保存到文件中。

4. 数据可视化

将数据保存至本地文件后，我们可以使用matplotlib和seaborn库对数据进行可视化展示。下面是代码示例：

python 复制代码

import matplotlib.pyplot as plt
import seaborn as sns

df = pd.read_csv('data.csv')
fig, ax = plt.subplots(figsize=(10, 6))
sns.barplot(x='name', y='pchange', data=df, ax=ax)
ax.set_xlabel('股票名称')
ax.set_ylabel('涨跌幅')
ax.set_title('股票实时涨跌幅')

plt.show()

使用pandas库读取CSV文件中的数据，然后使用seaborn库绘制条形图。在这里我们将股票名称作为x轴，涨跌幅作为y轴。通过设置图形大小、坐标轴标签和标题等属性，我们可以使图形更加美观。

总结

生成结果后我们可以看到，使用Python爬虫获取数据后进行可视化展示非常方便，通过数据图形化展示可以更直观地观察数据的趋势和变化，从而更好地进行数据分析和决策。