数据建设实践之大数平台(六)安装spark

安装spark

上传安装包到/opt/software目录并解压

bash 复制代码
[bigdata@node101 software]$ tar -xvf spark-3.3.1-bin-hadoop3.tgz -C /opt/services/ 
[bigdata@node101 software]$ tar -xvf spark-3.3.1-bin-without-hadoop.tgz -C /opt/services/ 

重命名文件

bash 复制代码
[bigdata@node101 services]$ mv spark-3.3.1-bin-hadoop3 spark-3.3.1 

配置环境变量

bash 复制代码
[bigdata@node101 ~]$ sudo vim /etc/profile.d/bigdata_env.sh 
bash 复制代码
export SPARK_HOME=/opt/services/spark-3.3.1
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$SPARK_HOME/bin

分发环境变量

bash 复制代码
[bigdata@node101 ~]$ sudo ./bin/xsync /etc/profile.d/bigdata_env.sh 

刷新环境变量,5台机器上执行

bash 复制代码
[bigdata@node101 ~]$ source /etc/profile 

配置spark-env.sh

bash 复制代码
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
export SPARK_HISTORY_OPTS=" 
-Dspark.history.ui.port=18080  
-Dspark.history.fs.logDirectory=hdfs://mycluster:8020/spark-history  
-Dspark.history.retainedApplications=30"

配置spark-defaults.conf

bash 复制代码
[bigdata@node101 conf]$ cp spark-defaults.conf.template  spark-defaults.conf
bash 复制代码
spark.master                       yarn
spark.eventLog.enabled             true
spark.eventLog.dir                 hdfs://mycluster:8020/spark-history
spark.serializer                   org.apache.spark.serializer.KryoSerializer
#启动动态分配
spark.dynamicAllocation.enabled    true
#启用Spark shuffle服务
spark.shuffle.service.enabled    true
#Executor个数初始值
spark.dynamicAllocation.initialExecutors    1
#Executor个数最小值
spark.dynamicAllocation.minExecutors    1
#Executor个数最大值
spark.dynamicAllocation.maxExecutors    6
#Executor空闲时长,若某Executor空闲时间超过此值,则会被关闭
spark.dynamicAllocation.executorIdleTimeout    60s
#积压任务等待时长,若有Task等待时间超过此值,则申请启动新的Executor
spark.dynamicAllocation.schedulerBacklogTimeout    1s
#spark shuffle老版本协议
#spark.shuffle.useOldFetchProtocol true
spark.yarn.historyServer.address=node101:18080
spark.history.ui.port=18080
spark.history.fs.logDirectory=hdfs://mycluster:8020/spark-history

hdfs上创建日志文件

bash 复制代码
[bigdata@node101 conf]$ hdfs dfs -mkdir /spark-history

上传spark-defaults.conf到hive目录下

bash 复制代码
[bigdata@node101 conf]$cp $SPARK_HOME/conf/spark-defaults.conf $HIVE_HOME/conf/

上传hive-exec-3.1.3.jar到纯净版

bash 复制代码
[bigdata@node101 conf]$cp $HIVE_HOME/lib/hive-exec-3.1.3.jar /opt/services/spark-3.3.1-bin-without-hadoop/jars/ 

上传spark-3.3.1-yarn-shuffle.jar

bash 复制代码
[bigdata@node101 conf]$ cp $SPARK_HOME/yarn/spark-3.3.1-yarn-shuffle.jar  /opt/services/hadoop-3.3.5/share/hadoop/yarn/lib/

上传spark jar包到hdfs

bash 复制代码
[bigdata@node101 spark-3.3.1-bin-without-hadoop]$ hdfs dfs -mkdir /spark-jars          
 
[bigdata@node101 spark-3.3.1-bin-without-hadoop]$ hdfs dfs -put ./jars/* /spark-jars

启动历史服务

bash 复制代码
[bigdata@node101 spark-3.3.1]$ sbin/start-history-server.sh 
相关推荐
广州腾科助你拿下华为认证2 小时前
华为考试:HCIE数通考试难度分析
大数据·华为
在未来等你4 小时前
Elasticsearch面试精讲 Day 17:查询性能调优实践
大数据·分布式·elasticsearch·搜索引擎·面试
大数据CLUB7 小时前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发
ratbag6720137 小时前
当环保遇上大数据:生态环境大数据技术专业的课程侧重哪些领域?
大数据
计算机编程小央姐9 小时前
跟上大数据时代步伐:食物营养数据可视化分析系统技术前沿解析
大数据·hadoop·信息可视化·spark·django·课程设计·食物
智数研析社9 小时前
9120 部 TMDb 高分电影数据集 | 7 列全维度指标 (评分 / 热度 / 剧情)+API 权威源 | 电影趋势分析 / 推荐系统 / NLP 建模用
大数据·人工智能·python·深度学习·数据分析·数据集·数据清洗
潘达斯奈基~10 小时前
《大数据之路1》笔记2:数据模型
大数据·笔记
寻星探路10 小时前
数据库造神计划第六天---增删改查(CRUD)(2)
java·大数据·数据库
翰林小院12 小时前
【大数据专栏】流式处理框架-Apache Fink
大数据·flink
孟意昶12 小时前
Spark专题-第一部分:Spark 核心概述(2)-Spark 应用核心组件剖析
大数据·spark·big data