基于spark的航班价格分析预测及可视化

基于spark的航班价格分析预测及可视化

项目概况

**👇👇👇👇👇👇👇👇**

点这里,查看所有项目

**👆👆👆👆👆👆👆👆**

数据类型

公开的航班价格数据

开发环境

centos7

软件版本

python3.8.18、hadoop3.2.0、spark3.1.2、mysql5.7.38、scala2.12.18、jdk8

开发语言

python、Scala

开发流程

数据上传(hdfs)->数据清洗(spark)->数据分析(spark)->机器学习(spark)->数据存储(mysql)->后端(flask)->前端(html+js+css)

可视化图表




操作步骤

python安装包

shell 复制代码
pip3 install pandas==2.0.3 -i https://mirrors.aliyun.com/pypi/simple/
pip3 install flask==3.0.0 -i https://mirrors.aliyun.com/pypi/simple/
pip3 install flask-cors==4.0.1 -i https://mirrors.aliyun.com/pypi/simple/
pip3 install pymysql==1.1.0 -i https://mirrors.aliyun.com/pypi/simple/

启动MySQL

shell 复制代码
# 查看mysql是否启动 启动命令: systemctl start mysqld.service
systemctl status mysqld.service
# 进入mysql终端
# MySQL的用户名:root 密码:123456
# MySQL的用户名:root 密码:123456
# MySQL的用户名:root 密码:123456
mysql -uroot -p123456

创建MySQL库

shell 复制代码
CREATE DATABASE IF NOT EXISTS flight CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

启动Hadoop

shell 复制代码
# 离开安全模式: hdfs dfsadmin -safemode leave
# 启动hadoop
bash /export/software/hadoop-3.2.0/sbin/start-hadoop.sh

准备目录

shell 复制代码
mkdir -p /data/jobs/project/
cd /data/jobs/project/

# 解压 "data" 目录下的 "data.7z" 文件
# 上传 "data" 目录下的 "CSV" 文件 到 "/data/jobs/project/" 目录

# Clean_Dataset.csv

上传文件到hdfs

shell 复制代码
cd /data/jobs/project/

hdfs dfs -mkdir -p /data/input/
hdfs dfs -rm -r /data/input/*
hdfs dfs -put -f Clean_Dataset.csv /data/input/
hdfs dfs -ls /data/input/

程序打包

shell 复制代码
cd /data/jobs/project/

# 对 "project-spark-flight-fare-data-analysis-prediction" 项目进行打包
# 打包命令: mvn clean package -Dmaven.test.skip=true
# 上传 "project-spark-flight-fare-data-analysis-prediction/target" 目录下的 "spark-job.jar" 文件 到 "/data/jobs/project/" 目录

spark数据预处理

shell 复制代码
cd /data/jobs/project/

spark-submit \
--master local[*] \
--class org.example.SparkDataClean \
/data/jobs/project/spark-job.jar /data/input/Clean_Dataset.csv /data/output/

spark数据分析

shell 复制代码
cd /data/jobs/project/

spark-submit \
--master local[*] \
--class org.example.SparkAnalysis \
/data/jobs/project/spark-job.jar /data/output/

spark机器学习

shell 复制代码
cd /data/jobs/project/

spark-submit \
--master local[*] \
--class org.example.SparkMLApp \
/data/jobs/project/spark-job.jar /data/output/

启动可视化

shell 复制代码
mkdir -p /data/jobs/project/myapp/
cd /data/jobs/project/myapp/

# 上传 "可视化" 目录下的 "所有" 文件和文件夹 到 "/data/jobs/project/" 目录

# windows本地运行: python app.py
python3 app.py pro
相关推荐
武子康1 小时前
Java-80 深入浅出 RPC Dubbo 动态服务降级:从雪崩防护到配置中心秒级生效
java·分布式·后端·spring·微服务·rpc·dubbo
charlee444 小时前
PandasAI连接LLM进行智能数据分析
ai·数据分析·llm·pandasai·deepseek
数据与人工智能律师4 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
mykyle6 小时前
Elasticsearch-ik分析器
大数据·elasticsearch·jenkins
itLaity6 小时前
基于Kafka实现简单的延时队列
spring boot·分布式·kafka
qq_529835357 小时前
Zookeeper的简单了解
分布式·zookeeper·云原生
weixin_lynhgworld7 小时前
淘宝扭蛋机小程序系统开发:重塑电商互动模式
大数据·小程序
smileNicky8 小时前
RabbitMQ有多少种Exchange?
分布式·rabbitmq
你我约定有三8 小时前
RabbitMQ--消息丢失问题及解决
java·开发语言·分布式·后端·rabbitmq·ruby
Java初学者小白8 小时前
秋招Day19 - 分布式 - 分布式事务
java·分布式