Spark SQL大数据分析快速上手-完全分布模式安装

【图书介绍】《Spark SQL大数据分析快速上手》-CSDN博客

《Spark SQL大数据分析快速上手》【摘要 书评 试读】- 京东图书

大数据与数据分析_夏天又到了的博客-CSDN博客

Hadoop完全分布式环境搭建步骤-CSDN博客,前置环境安装参看此博文

完全分布模式也叫集群模式。将Spark目录文件分发到其他主机并配置workers节点,即可快速配置Spark集群(需要先安装好JDK并配置好从Master到Worker的SSH信任)。具体步骤 如下:

【免费送书活动】《Spark SQL大数据分析快速上手》-CSDN博客

步骤1: 配置计划表。

集群主机配置如表2-1所示。所有主机在相同目录下安装JDK,Spark安装到所有主机的相同目录下,如/app/。

步骤2: 准备3台Linux虚拟机搭建集群环境。

这里推荐直接使用下面链接讲解的、配置好的Hadoop完全分布式环境,稍微做些修改,即可快速搭建Spark完全分布模式环境。

Hadoop完全分布式环境搭建步骤_hadoop 开发环境搭建及hdfs初体验-CSDN博客

步骤3: 解压并配置Spark。

在server101上解压Spark:

复制代码
$ tar -zxvf ~/spark-3.3.1-bin-hadoop3.tgz -C /app/

$ mv spark-3.3.1-bin-hadoop3 spark-3.3.1

修改spark-env.sh文件,在文件最开始添加JAVA_HOME环境变量:

复制代码
$ vim /app/spark-3.3.1/sbin/spark-conf.sh

export JAVA_HOME=/usr/java/jdk1.8.0-361

修改worker文件,添加所有主机在worker节点上的名称:

复制代码
$ vim /app/spark-3.3.1/conf/workers

server101

server102

server103

使用scp将Spark目录分发到所有主机相同的目录下:

复制代码
$ scp -r /app/spark-3.3.1  server102:/app/

$ scp -r /app/spark-3.3.1  server103:/app/
步骤4: 启动Spark。

在主Spark上执行start-all.sh

$ /app/spark-3.3.1/sbin/start-all.sh

启动完成以后,查看master主机的8080端口,如图2-8所示。

步骤5: 测试。

由于已经配置了Hadoop集群,并且与Spark的worker节点在相同的主机上,因此在集群环境下,一般是访问HDFS上的文件:

复制代码
$spark-shell --master spark://server101:7077

scala> val rdd1 = sc.textFile("hdfs://server101:8082/test/a.txt");

图2-8 master主机的8080端口

将结果保存到HDFS,最后查看HDFS上的计算结果即可:

复制代码
scala> rdd1.flatMap(_.split("\\s+")).map((_,1)).reduceByKey(_+_). saveAsTextFile("hdfs://server101:8020/out004");
相关推荐
永洪科技4 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
计算机毕设定制辅导-无忧学长4 小时前
西门子 PLC 与 Modbus 集成:S7-1500 RTU/TCP 配置指南(一)
服务器·数据库·tcp/ip
weixin_307779134 小时前
Hive集群之间迁移的Linux Shell脚本
大数据·linux·hive·bash·迁移学习
上海锝秉工控7 小时前
防爆拉线位移传感器:工业安全的“隐形守护者”
大数据·人工智能·安全
cv高级工程师YKY7 小时前
SRE - - PV、UV、VV、IP详解及区别
大数据·服务器·uv
眠修8 小时前
Kuberrnetes 服务发布
linux·运维·服务器
bxlj_jcj9 小时前
深入Flink核心概念:解锁大数据流处理的奥秘
大数据·flink
云资源服务商9 小时前
阿里云Flink:开启大数据实时处理新时代
大数据·阿里云·云计算
BAOYUCompany9 小时前
暴雨服务器成功中标华中科技大学集成电路学院服务器采购项目
运维·服务器
Aurora_NeAr10 小时前
Spark SQL架构及高级用法
大数据·后端·spark