基于spark的二手房数据分析可视化系统

前言

这个只是有项目引入spark集群,以及用sparksql对数据进行分析,后续的内容和代码几乎跟之前的一样(我写过一片pyecharts+django可视化大屏的文章,里面有源码)

pyecharts+Django二手房分析可视化大屏(含源码)-CSDN博客

pyecharts二手房数据可视化分析(含3D图)-CSDN博客

思维导图

启动大数据集群

这些环境数科生应该都有配好吧?!

启动Hadoop集群

bash 复制代码
start-all.sh

启动spark集群

bash 复制代码
./start-all.sh

解释一下

python 复制代码
root@master sbinj# jps
3458 ResourceManager   # YARN 资源管理进程
3187 SecondaryNameNode # HDFS 二级元数据备份进程
4835 Jps               # jps 命令本身的进程(可忽略)
2900 NameNode          # HDFS 主元数据管理进程
4734 Master            # Spark 或其他框架的主进程(需结合集群配置确认)

进入mysql,建立新数据库

sql 复制代码
CREATE DATABASE ershoufang;
SHOW DATABASES;

spark分析

我用的是idea编译器,用的是虚拟环境

我觉得大部分人都已经构建好了,就展示截图,不详解了

python 复制代码
from pyspark.sql import SparkSession
from pyspark import SparkConf
from pyspark.sql.functions import col, regexp_extract, when
from pyspark.sql import functions as F
# 创建Spark会话
conf = SparkConf() \
    .setAppName("PySpark 的数据读写") \
    .setMaster('spark://192.168.126.10:7077') \
    .set("spark.driver.host", "192.168.126.1")
spark = SparkSession.builder.config(conf=conf).getOrCreate()

# 读取CSV文件
df = spark.read.csv('hdfs://192.168.126.10:9000/data/ershoufang_data_processed.csv', header=True)
df = df.na.drop()
city_counts = df.groupBy("城市") \
    .count() \
    .orderBy(F.desc("count")) \
    .withColumnRenamed("count", "total") \

url = "jdbc:mysql://192.168.126.10:3306/ershoufang"
properties = {
    "user": "root",
    "password": "123456",
    "driver": "com.mysql.jdbc.Driver"
}
# 写数据到MySQL的test数据库的movie表,无需预先在MySQL创建表。自动在mysql创建movie表
city_counts.coalesce(1).write.format('jdbc') \
    .option('url', url) \
    .option('dbtable', 'city_counts') \
    .option('user', properties['user']) \
    .option('password', properties['password']) \
    .option('driver', properties['driver']) \
    .option('mode', 'append') \
    # .save()  # 第一次建表时使用.save()。append为追加数据模式,overwrite覆盖数据模式

进行数据分析完成后(这个就是对各城市房源的汇总),存入mysql(远程环境的mysql,也就是虚拟机),然后建立django环境生成图表

已经有个例子了,剩下的数据分析应该都容易了吧(毕竟源码之前都更了),这里是数据分析生成的表

柱状图展示

相关推荐
阿豪3几秒前
2025 年职场:B 端产品经理用计算机专业技能优化产品全攻略(经验分享)
大数据·人工智能·科技·信息可视化·产品经理
数据智研4 分钟前
【数据分享】土地利用矢量shp数据分享-甘肃
大数据·信息可视化
Sui_Network9 分钟前
凭借 Seal,Walrus 成为首个具备访问控制的去中心化数据平台
大数据·人工智能·科技·web3·去中心化·区块链
TechubNews13 分钟前
Webus 与中国国际航空合作实现 XRP 支付
大数据·网络·人工智能·web3·区块链
焚 城31 分钟前
Excel数据导出小记二: [大数据示例]
大数据·excel
工业互联网专业38 分钟前
基于Spark的新冠肺炎疫情实时监控系统_django+spider
python·spark·django·vue·毕业设计·源码·课程设计
黄焖鸡能干四碗1 小时前
信息系统安全保护措施文件方案
大数据·开发语言·人工智能·web安全·制造
BYSJMG1 小时前
大数据毕业设计推荐:基于Spark的零售时尚精品店销售数据分析系统【Hadoop+python+spark】
大数据·hadoop·python·spark·django·课程设计
健康有益科技1 小时前
AI驱动健康升级:新零售企业从“卖产品”到“卖健康”的转型路径
大数据·人工智能·健康医疗·零售
涛思数据(TDengine)1 小时前
新客户 | TDengine 时序数据库赋能开源鸿蒙物联展区实时监控与展示
大数据·时序数据库·tdengine