【python】python天气气候数据抓取分析可视化（源码+数据+可视化+报告）【独一无二】

一、网页分析

爬取2345天气王网页的数据，进行数据分析可视化：

主要爬取了，主要包含日期、最高气温、最低气温、天气、风力风向等数据信息。

这段Python代码主要用于从网站上抓取历史天气数据并保存到本地的CSV文件中。下面逐块解释每部分代码的功能：

导入模块

python 复制代码

import re
import csv
import requests

re: 用于处理正则表达式，这在解析网页内容时非常有用。
csv: 用于读写CSV文件，这里主要用于保存抓取的数据。
requests: 用于发起网络请求，获取网页数据。

初始化CSV文件

python 复制代码

with open('weather_data.csv', 'a', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['日期', '最高温', '最低温', '天气', '风力风向'])
    file.close()

这部分代码打开（或创建）一个名为weather_data.csv的文件，并设置为追加模式（'a'）。
用csv.writer创建一个CSV写入器，然后写入表头，包括日期、最高温、最低温、天气和风力风向。
文件使用UTF-8编码，以支持中文字符。
newline=''用于防止在写入行之间产生额外的空行。

爬取数据

python 复制代码

for i in range(2011, 2025):
    for j in range(1, 13):
        url = f"https://tiaxxxx.com"

使用双层循环遍历从2011年到2023年的每个月。
构造URL以根据年份和月份请求对应的历史天气数据。

设置请求头

python 复制代码

headers = { ... }

headers字典包含了众多HTTP头部信息，这些信息用于模拟浏览器请求，避免被服务器识别为爬虫。

发送请求并解析数据

python 复制代码

res = requests.get(url=url, headers=headers)
text = res.json()['data'].replace('\n', '').replace(' ', '')

使用requests.get向构造的URL发送请求，传入之前设置的headers。
从响应中提取JSON格式的数据，并进一步获取其中的data字段。然后移除响应中的换行符和空格，方便后续的数据处理。

正则表达式解析

python 复制代码

if i <= 2015:
    pattern = r'<tr><td>(.*?)</td><tdstyle="[^>]*">(.*?)</td><tdstyle="[^>]*">(.*?)</td><td>(.*?)</td><td>(.*?)</td>'
else:
    pattern = r'<tr><td>(.*?)</td><tdstyle="[^>]*">(.*?)</td><tdstyle="[^>]*">(.*?)</td><td>(.*?)</td><td>(.*?)</td>'

根据不同的年份选择不同的正则表达式模式。尽管这里两个模式看起来一样，实际使用中可能有微小的差别。
正则表达式用于解析HTML中的表格数据。

写入excel文件

python 复制代码

matches = re.findall(pattern, text, re.S)
with open('weather_data.csv', 'a', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    for match in matches:
        writer.writerow(match)

re.findall使用先前定义的正则表达式模式从网页内容中提取数据。
提取的每条数据作为一个元组存储在matches中。
遍历matches，将每个匹配项写入CSV文件中。

二、数据分析可视化

饼状图（温度区间分布） ：
- 这张饼状图展示了数据集中的最高温度分布在三个不同的温度区间（低温、中温、高温）中的比例。
- 通过这张图，我们可以快速了解大部分时间内最高温度主要集中在哪个区间。例如，如果大部分温度都在中温区间，这可能意味着该地区的气候较为温和。
- 饼图还可以帮助识别极端天气条件的频率，例如低温或高温天气的出现比例。

柱状图（最高气温前10名） ：
- 该柱状图显示了从15年间记录的最高温度的前10个最高值及其对应的日期。
- 这可以帮助我们识别特定年份中出现极端高温的具体日期，有助于分析可能的季节性高温模式或异常气候事件。
- 柱状图还可以用来评估最高温度的变化范围，了解这些极端高温事件之间的温度差异。

散点图（所有温度散点图） ：
- 散点图展示了整个时间段内所有记录的最高温和最低温数据点。
- 通过这种图表，我们可以观察到温度随时间的变化趋势，包括季节性变化和年度变化。
- 这张图还可以揭示温度波动的模式，比如某些特定月份或年份是否存在温度异常。
- 分析最高温和最低温之间的关系，可以帮助我们了解夜间和白天的温差，这对于评估日温差和潜在的农业或健康影响尤为重要。

年度平均最高温和最低温变化 ：
- 该图展示了每年的平均最高温度和平均最低温度。
- 通过这张图，我们可以观察到每年的温度波动趋势，分析温度随时间的长期变化情况。
- 折线图可以揭示出温度随季节或年份变化的趋势，比如是否有逐年上升或下降的模式。
- 同时，图中也可能显示出特定年份的异常温度变化，这可能与特定的气候事件或环境因素有关。
- 通过同时展示每年的平均最高温和平均最低温，可以对比分析在同一年内温差的变化。
- 这种对比有助于了解不同季节之间的温差变化，特别是在考虑到气候变暖或冷却趋势的情况下。