基于spark的二手房数据分析可视化系统

前言

这个只是有项目引入spark集群,以及用sparksql对数据进行分析,后续的内容和代码几乎跟之前的一样(我写过一片pyecharts+django可视化大屏的文章,里面有源码)

pyecharts+Django二手房分析可视化大屏(含源码)-CSDN博客

pyecharts二手房数据可视化分析(含3D图)-CSDN博客

思维导图

启动大数据集群

这些环境数科生应该都有配好吧?!

启动Hadoop集群

bash 复制代码
start-all.sh

启动spark集群

bash 复制代码
./start-all.sh

解释一下

python 复制代码
root@master sbinj# jps
3458 ResourceManager   # YARN 资源管理进程
3187 SecondaryNameNode # HDFS 二级元数据备份进程
4835 Jps               # jps 命令本身的进程(可忽略)
2900 NameNode          # HDFS 主元数据管理进程
4734 Master            # Spark 或其他框架的主进程(需结合集群配置确认)

进入mysql,建立新数据库

sql 复制代码
CREATE DATABASE ershoufang;
SHOW DATABASES;

spark分析

我用的是idea编译器,用的是虚拟环境

我觉得大部分人都已经构建好了,就展示截图,不详解了

python 复制代码
from pyspark.sql import SparkSession
from pyspark import SparkConf
from pyspark.sql.functions import col, regexp_extract, when
from pyspark.sql import functions as F
# 创建Spark会话
conf = SparkConf() \
    .setAppName("PySpark 的数据读写") \
    .setMaster('spark://192.168.126.10:7077') \
    .set("spark.driver.host", "192.168.126.1")
spark = SparkSession.builder.config(conf=conf).getOrCreate()

# 读取CSV文件
df = spark.read.csv('hdfs://192.168.126.10:9000/data/ershoufang_data_processed.csv', header=True)
df = df.na.drop()
city_counts = df.groupBy("城市") \
    .count() \
    .orderBy(F.desc("count")) \
    .withColumnRenamed("count", "total") \

url = "jdbc:mysql://192.168.126.10:3306/ershoufang"
properties = {
    "user": "root",
    "password": "123456",
    "driver": "com.mysql.jdbc.Driver"
}
# 写数据到MySQL的test数据库的movie表,无需预先在MySQL创建表。自动在mysql创建movie表
city_counts.coalesce(1).write.format('jdbc') \
    .option('url', url) \
    .option('dbtable', 'city_counts') \
    .option('user', properties['user']) \
    .option('password', properties['password']) \
    .option('driver', properties['driver']) \
    .option('mode', 'append') \
    # .save()  # 第一次建表时使用.save()。append为追加数据模式,overwrite覆盖数据模式

进行数据分析完成后(这个就是对各城市房源的汇总),存入mysql(远程环境的mysql,也就是虚拟机),然后建立django环境生成图表

已经有个例子了,剩下的数据分析应该都容易了吧(毕竟源码之前都更了),这里是数据分析生成的表

柱状图展示

相关推荐
是店小二呀1 小时前
整合亮数据Bright Data与Dify构建自动化分析系统
大数据·自动化·dify·mcp·bright data
励志成为糕手2 小时前
Kafka选举机制深度解析:分布式系统中的民主与效率
分布式·kafka·linq·controller·isr机制
阿里云大数据AI技术2 小时前
云栖2025 | 阿里云自研大数据平台ODPS 重磅升级:全面支持AI计算和服务
大数据·人工智能
人间凡尔赛3 小时前
elasticsearch安装插件
大数据·elasticsearch·搜索引擎
大翻哥哥3 小时前
Python 2025:数据分析平台智能化转型与新范式
人工智能·python·数据分析
IvanCodes3 小时前
七、Scala 包、样例类与样例对象
大数据·开发语言·scala
echoyu.4 小时前
微服务-分布式追踪 / 监控工具大全
分布式·微服务·架构
维维180-3121-14554 小时前
NCL数据分析与处理实践技术应用
数据挖掘·数据分析·ncl
飞鱼&4 小时前
Kafka-保证消息消费的顺序性及高可用机制
分布式·kafka
Hello.Reader4 小时前
Flink Operations Playground 部署、观测、容错、升级与弹性扩缩
大数据·flink