基于pyspark的北京历史天气数据分析及可视化_离线

基于pyspark的北京历史天气数据分析及可视化

项目概况

**👇👇👇👇👇👇👇👇**

点这里,查看所有项目

**👆👆👆👆👆👆👆👆**

数据类型

北京历史天气数据

开发环境

centos7

软件版本

python3.8.18、hadoop3.2.0、spark3.1.2、mysql5.7.38、scala2.12.18、jdk8

开发语言

python

开发流程

数据上传(hdfs)->数据分析(spark)->数据存储(mysql)->后端(flask)->前端(html+js+css)

可视化图表

操作步骤

python安装包

shell 复制代码
pip3 install pandas==2.0.3 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip3 install flask==3.0.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip3 install flask-cors==4.0.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip3 install pyecharts==2.0.4 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip3 install pymysql==1.1.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

启动MySQL

shell 复制代码
# 查看mysql是否启动 启动命令: systemctl start mysqld.service
systemctl status mysqld.service
# 进入mysql终端
# MySQL的用户名:root 密码:123456
# MySQL的用户名:root 密码:123456
# MySQL的用户名:root 密码:123456
mysql -uroot -p123456

启动Hadoop

shell 复制代码
# 离开安全模式: hdfs dfsadmin -safemode leave
# 启动hadoop
bash /export/software/hadoop-3.2.0/sbin/start-hadoop.sh

准备目录

shell 复制代码
mkdir -p /data/jobs/project/
cd /data/jobs/project/

# 上传 "data" 目录下的 "beijing_weather_data.csv" 文件

head -5 beijing_weather_data.csv

上传文件到hdfs

shell 复制代码
cd /data/jobs/project/

hdfs dfs -mkdir -p /data/source/
hdfs dfs -rm -r /data/source/*
hdfs dfs -put -f beijing_weather_data.csv /data/source/
hdfs dfs -ls /data/source/

创建MySQL库

sql 复制代码
CREATE DATABASE IF NOT EXISTS echarts CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

spark数据分析

shell 复制代码
cd /data/jobs/project/

# 上传 "pyspark" 目录下的 "data_process.py" 文件

spark-submit \
--master local[*] \
--jars /export/software/spark-3.1.2-bin-hadoop3.2/jars/mysql-connector-j-8.0.33.jar \
--driver-class-path /export/software/spark-3.1.2-bin-hadoop3.2/jars/mysql-connector-j-8.0.33.jar \
/data/jobs/project/data_process.py /data/source/

# 可以进入MySQL进行校验
# select * from weather_info limit 10;
# select * from weather_year_h_temp limit 10;
# select * from weather_min_max_temp limit 10;

启动可视化

shell 复制代码
mkdir -p /data/jobs/project/myapp/
cd /data/jobs/project/myapp/

# 上传 "可视化" 目录下的 "所有" 文件/文件夹

# windows本地运行: python app.py
python3 app.py pro
相关推荐
腾视科技9 分钟前
安全驾驶 智在掌控|腾视科技ES06终端,为车辆运营赋能
大数据·人工智能·科技·安全·大模型
zandy10111 小时前
2025企业级智能体平台架构拆解: 如何安全合规下构筑强大的护城河
大数据·安全·架构·智能体
TDengine (老段)2 小时前
从“事后抢险”到“事前防控”:江西水投用 TDengine 时序数据库重塑防汛模式
大数据·数据库·物联网·时序数据库·tdengine·涛思数据·1024程序员节
lzptouch3 小时前
逻辑斯蒂回归(Logistic Regression)算法
算法·数据挖掘·回归
yy7634966684 小时前
WPF 之 简单高效的Revit多语言支持方案
java·大数据·linux·服务器·wpf
渲吧云渲染7 小时前
SaaS模式重构工业软件竞争规则,助力中小企业快速实现数字化转型
大数据·人工智能·sass
青云交8 小时前
Java 大视界 -- 基于 Java 的大数据机器学习模型在图像识别中的迁移学习与模型优化
java·大数据·迁移学习·图像识别·模型优化·deeplearning4j·机器学习模型
java_logo15 小时前
Docker 部署 Elasticsearch 全流程手册
大数据·运维·mongodb·elasticsearch·docker·容器
墨香幽梦客15 小时前
掌控制造脉络:电子元器件行业常用ERP系统概览与参考指南
大数据·人工智能
B站_计算机毕业设计之家15 小时前
python舆情分析可视化系统 情感分析 微博 爬虫 scrapy爬虫技术 朴素贝叶斯分类算法大数据 计算机✅
大数据·爬虫·python·scrapy·数据分析·1024程序员节·舆情分析