Spark SQL大数据分析快速上手-完全分布模式安装

【图书介绍】《Spark SQL大数据分析快速上手》-CSDN博客

《Spark SQL大数据分析快速上手》【摘要 书评 试读】- 京东图书

大数据与数据分析_夏天又到了的博客-CSDN博客

Hadoop完全分布式环境搭建步骤-CSDN博客,前置环境安装参看此博文

完全分布模式也叫集群模式。将Spark目录文件分发到其他主机并配置workers节点,即可快速配置Spark集群(需要先安装好JDK并配置好从Master到Worker的SSH信任)。具体步骤 如下:

【免费送书活动】《Spark SQL大数据分析快速上手》-CSDN博客

步骤1: 配置计划表。

集群主机配置如表2-1所示。所有主机在相同目录下安装JDK,Spark安装到所有主机的相同目录下,如/app/。

步骤2: 准备3台Linux虚拟机搭建集群环境。

这里推荐直接使用下面链接讲解的、配置好的Hadoop完全分布式环境,稍微做些修改,即可快速搭建Spark完全分布模式环境。

Hadoop完全分布式环境搭建步骤_hadoop 开发环境搭建及hdfs初体验-CSDN博客

步骤3: 解压并配置Spark。

在server101上解压Spark:

复制代码
$ tar -zxvf ~/spark-3.3.1-bin-hadoop3.tgz -C /app/

$ mv spark-3.3.1-bin-hadoop3 spark-3.3.1

修改spark-env.sh文件,在文件最开始添加JAVA_HOME环境变量:

复制代码
$ vim /app/spark-3.3.1/sbin/spark-conf.sh

export JAVA_HOME=/usr/java/jdk1.8.0-361

修改worker文件,添加所有主机在worker节点上的名称:

复制代码
$ vim /app/spark-3.3.1/conf/workers

server101

server102

server103

使用scp将Spark目录分发到所有主机相同的目录下:

复制代码
$ scp -r /app/spark-3.3.1  server102:/app/

$ scp -r /app/spark-3.3.1  server103:/app/
步骤4: 启动Spark。

在主Spark上执行start-all.sh

$ /app/spark-3.3.1/sbin/start-all.sh

启动完成以后,查看master主机的8080端口,如图2-8所示。

步骤5: 测试。

由于已经配置了Hadoop集群,并且与Spark的worker节点在相同的主机上,因此在集群环境下,一般是访问HDFS上的文件:

复制代码
$spark-shell --master spark://server101:7077

scala> val rdd1 = sc.textFile("hdfs://server101:8082/test/a.txt");

图2-8 master主机的8080端口

将结果保存到HDFS,最后查看HDFS上的计算结果即可:

复制代码
scala> rdd1.flatMap(_.split("\\s+")).map((_,1)).reduceByKey(_+_). saveAsTextFile("hdfs://server101:8020/out004");
相关推荐
半夏陌离1 小时前
SQL 实战指南:电商订单数据分析(订单 / 用户 / 商品表关联 + 统计需求)
java·大数据·前端
liulilittle2 小时前
UNIX/macOS路由表查询原理与实现
服务器·开发语言·c++·macos·unix·编程语言
Hi202402172 小时前
基于阿里云部署 RustDesk 自托管服务器
运维·服务器·阿里云·云计算·远程控制·远程桌面
I like Code?2 小时前
阿里云服务器配置ssl-docker nginx
服务器·阿里云·ssl
少陽君2 小时前
如何使用自签 CA 签发服务器证书与客户端证书
运维·服务器
成长之路5142 小时前
【面板数据】各省制造业出口技术复杂度数据集(2010-2023年)
大数据
翰林小院2 小时前
【大数据专栏】大数据框架-Apache Druid Overview
大数据·durid
東雪蓮☆3 小时前
Linux 网络流量监控 Shell 脚本详解(支持邮件告警)
linux·运维·服务器
三无少女指南4 小时前
WSL2环境下因服务器重装引发的SSH连接问题排查记录
运维·服务器·ssh
Learn Beyond Limits4 小时前
Error metrics for skewed datasets|倾斜数据集的误差指标
大数据·人工智能·python·深度学习·机器学习·ai·吴恩达