Python实战项目：天气数据爬取+数据可视化（完整代码）_python爬虫实战

以下是一个利用Python爬取天气数据并实现数据可视化的完整项目案例讲解：

一、项目背景

随着人们对天气的关注逐渐增加，天气预报数据的获取与可视化成为了热门话题。天气情况会影响到人们日常的增减衣物、出行安排等。通过Python网络爬虫可以快速获取和分析大量的天气数据，并通过可视化手段展示其特征和规律，从而帮助人们更好地理解和应用天气数据，做出更准确的决策和规划。

二、项目流程

爬取天气数据
- 确定数据来源 ：选择一个提供天气数据的网站，如中国天气网（天气网）或天气网（有机玻璃管_亚克力管-天长市天祺有机玻璃厂【官网】）。
- 分析网页结构：使用浏览器的开发者工具，分析目标网页的HTML结构，确定需要爬取的数据在源代码中的位置。
- 编写爬虫代码：使用Python的requests库发送HTTP请求，获取网页源代码，然后使用BeautifulSoup库解析HTML，提取出天气数据。例如，爬取海口市2023年11月的历史天气数据。

python 复制代码

import requests  
from lxml import etree  
import xlrd, xlwt, os  
from xlutils.copy import copy  
  
class TianQi():  
    def __init__(self):  
        pass  
  
    def spider(self):  
        city_dict = {  
            "海口": "haikou"  
        }  
        city = '海口'  
        city = city_dict[f'{city}']  
        year = '2023'  
        month = '11'  
        start_url = f'https://lishi.tianqi.com/{city}/{year}{month}.html'  
        headers = {  
            'authority': 'lishi.tianqi.com',  
            'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',  
            'accept-language': 'zh-CN,zh;q=0.9',  
            'cache-control': 'no-cache',  
            'cookie': '省略具体的cookie信息',  
            'pragma': 'no-cache',  
            'referer': 'https://lishi.tianqi.com/ankang/202309.html',  
            'sec-ch-ua': '"Google Chrome";v="119", "Chromium";v="119", "Not?A_Brand";v="24"',  
            'sec-ch-ua-mobile': '?0',  
            'sec-ch-ua-platform': '"Windows"',  
            'sec-fetch-dest': 'document',  
            'sec-fetch-mode': 'navigate',  
            'sec-fetch-site': 'same-origin',  
            'sec-fetch-user': '?'  
        }  
        response = requests.get(start_url, headers=headers)  
        tree = etree.HTML(response.content)  
        # 省略数据提取和保存的代码...

温馨提示，完整源码已打包好了，需要的小伙伴可扫下方vx领取

****数据可视化保存数据：将爬取到的天气数据保存到本地文件或数据库中，方便后续处理和分析。

- 数据预处理：使用Pandas库对爬取到的天气数据进行清洗、转换和格式化，使其适合进行可视化分析。
- 选择可视化工具：Python提供了许多流行的数据可视化库，如Matplotlib、Seaborn和Plotly。根据项目需求选择合适的可视化工具。
- 绘制图表：使用选定的可视化工具绘制图表，如折线图、散点图、柱状图等，展示天气数据的特征和规律。

例如，使用Matplotlib绘制海口市2023年11月的最高温度和最低温度的变化趋势：

python 复制代码

import pandas as pd  
import matplotlib.pyplot as plt  
  
# 假设已经使用Pandas将天气数据加载到DataFrame中，命名为df  
# df = pd.read_excel('海口历史天气【2023年11月】.xls')  
  
plt.figure(figsize=(10, 5))  
plt.plot(df['日期'], df['最高温度'], label='最高温度')  
plt.plot(df['日期'], df['最低温度'], label='最低温度')  
plt.title('海口市2023年11月最高温度和最低温度变化趋势')  
plt.xlabel('日期')  
plt.ylabel('温度（℃）')  
plt.legend()  
plt.grid(True)  
plt.tight_layout()  
plt.show()

三、项目总结

通过本项目，我们利用Python爬虫技术成功爬取了天气数据，并使用数据可视化工具对天气数据进行了分析和展示。这不仅提高了我们对天气数据的理解和应用能力，还为我们提供了更多的决策和规划依据。