Spark01

Spark01

      • [一. Spark概述](#一. Spark概述)
      • [二. Spark环境部署 - Local](#二. Spark环境部署 - Local)
      • [三. Spark环境部署 - Standalone](#三. Spark环境部署 - Standalone)
          • [1. Standalone集群概述](#1. Standalone集群概述)
          • [2. Standalone环境部署](#2. Standalone环境部署)
          • [3. 测试环境](#3. 测试环境)

一. Spark概述















二. Spark环境部署 - Local

1. 上传压缩包

2. 解压缩

3. 修改用户权限 - hadoop

4. 构建软链接

5.文件目录

6. 启动spark-shell



7. 测试

scala 复制代码
val textfile=sc.textFile("file:///home/hadoop/words.txt");
// val scala的声明,声明一个不可变的变量
// sc: SparkContext对象, 是Spark程序的入口,提供了连接Spark集群的方法,并且可以创建RDDs(弹性分布式数据集)
//textFile():SC对象提供的方法, 用来读取文本文件, 会将文件中的内容作为RDD[String]返回
/*textFile = 
    RDD[e are words]
    RDD[e are words]
    RDD[e are words]*/
val counts = textfile.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
// flatMap(): 转换函数, 接收一个函数作为参数, 对RDD中的每个元素都应用这个函数
// 参数:  '_.split(" ")' 使用空格作为分隔符将每行文本拆分成单词数组 [e are words e are words e are words]
// map(): 转换函数, 接收一个函数作为参数,  对RDD中的每个元素都应用这个函数
// (_,1): 匿名函数,
// reduceByKey(_+_) 

//结果:
//Array[(String, Int)] = Array((are,2), (english,1), (e,1), (in,1), (more,1), (words,3), (these,1))

三. Spark环境部署 - Standalone

1. Standalone集群概述



2. Standalone环境部署

1. 集群规划

node1: Master /Worker

node2 : Worker

node3 : Worker

2. 配置workers

cd /export/server/spark/conf/workers
改名称

mv workers.template workers

vim workders
内容

node1

node2

node3

3. 配置Master - spark-env.sh

cd /export/server/conf/spark-env.sh
改名

mv spark-env.sh.template spark-env.sh

vim spark-env.sh
内容

shell 复制代码
## 设置JAVA安装目录
# 1. 改名
mv spark-env.sh.template spark-env.sh

# 2. 编辑spark-env.sh, 在底部追加如下内容

## 设置JAVA安装目录
JAVA_HOME=/export/server/jdk

## HADOOP软件配置文件目录,读取HDFS上文件和运行YARN集群
HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop
YARN_CONF_DIR=/export/server/hadoop/etc/hadoop

## 指定spark老大Master的IP和提交任务的通信端口
# 告知Spark的master运行在哪个机器上
export SPARK_MASTER_HOST=node1
# 告知sparkmaster的通讯端口
export SPARK_MASTER_PORT=7077
# 告知spark master的 webui端口
SPARK_MASTER_WEBUI_PORT=8080

## 设置历史服务器
# 配置的意思是  将spark程序运行的历史日志 存到hdfs的/sparklog文件夹中
SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://node1:8020/sparklog/ -Dspark.history.fs.cleaner.enabled=true"

# 注意, 上面的配置的路径 要根据你自己机器实际的路径来写

在HDFS下创建历史运行记录文件sparklog

hadoop fs -mkdir /sparklog

hadoop fs -ls /

hadoop fs -chmod 777 /sparklog

4.分发

scp -r spark-3.2.0-bin-hadoop3.2/ hadoop@node2:pwd

scp -r spark-3.2.0-bin-hadoop3.2/ hadoop@node3:pwd

5. 构建软连接

node2: ln -s /export/server/spark-3.2.0-bin-hadoop3.2/ spark

node3: ln -s /export/server/spark-3.2.0-bin-hadoop3.2/ spark

3. 测试环境

1. 启动Master进程

集群的启动和停止

在主节点上启动spark集群
/export/server/spark/sbin/start-all.sh

在主节点上停止spark集群
/export/server/spark/sbin/stop-all.sh

在主节点上单独启动和停止master
start-master.sh
stop-master.sh


2. 启动spark-shell

相关推荐
Aurora_NeAr17 小时前
Spark SQL架构及高级用法
大数据·后端·spark
百度Geek说2 天前
搜索数据建设系列之数据架构重构
数据仓库·重构·架构·spark·dubbo
大数据CLUB2 天前
基于spark的航班价格分析预测及可视化
大数据·hadoop·分布式·数据分析·spark·数据可视化
Cachel wood11 天前
Spark教程6:Spark 底层执行原理详解
大数据·数据库·分布式·计算机网络·spark
大数据CLUB12 天前
基于pyspark的北京历史天气数据分析及可视化_离线
大数据·hadoop·数据挖掘·数据分析·spark
Cachel wood12 天前
Spark教程1:Spark基础介绍
大数据·数据库·数据仓库·分布式·计算机网络·spark
张昕玥2023032211912 天前
Spark应用开发--WordCount实战
大数据·spark
阳光下是个孩子12 天前
基于 Spark 实现 COS 海量数据处理
大数据·分布式·spark
GawynKing12 天前
Apache SeaTunnel Spark引擎执行流程源码分析
spark·源码·seatunnel
heart000_113 天前
大数据≠大样本:基于Spark的特征降维实战(提升10倍训练效率)
大数据·分布式·spark