- 基于python的天气网站数据爬取和可视化分析项目 2024.03-2024.04
- 项目职责：策划者和执行者
- 项目地址 :
- 项目描述 ：本项目的目的是为了通过爬虫技术来爬取中国气象网的天气数据，并且使用pandas,pyecharts进行
数据可视化，分析天气数据。
- 项目环境 ：pycharm，python3.9 requests bs pandas jupyter-notebook pyecharts,腾讯云，mariadb等
- 项目 步骤 ：
1.数据爬取：使用requests库模拟web浏览器进行访问中国气象网爬取数据，使用BeautifulSoup和lxml进行数据提取，包括日期、气温、风向、风级、风速、气压、降水，pm25等。
2.数据存储：将爬取的数据存储到腾讯云(cos),其他数据存储到本地mariadb数据库上，我成功爬取了中国气象网北京等几个城市的数据，为后续数据分析提供数据支撑。
3.数据清洗和整理：利用pandas对爬取的数据进行清洗和整理，去除重复和异常值，保证数据的可靠性。
4.数据可视化：利用pyecharts库将清洗后的数据以图表的形式展示，例如折线图展示一年气温变化曲线，饼图展示
一年中的气温分布，柱形图展示空气以质量排序，地图来展示地区的天气质量，以便更好的观测数据。
项目心得 ：
1.更加加深对python爬虫应用的理解
2.加强了对pandas、requests 、pyecharts库的使用
3.提升了自己的python语法纠错,错误排查能力
4.增强了自己的数据分析、数据处理的能力
5.更加深入理解云平台的使用