搭建spark yarn 模式的集群

搭建Spark YARN模式集群步骤

  1. 环境准备

系统:采用Linux系统(如Ubuntu、CentOS ),借助ntp实现节点间时间同步,关闭防火墙及SELinux。

Java:安装JDK 8及以上版本,配置JAVA_HOME环境变量。

Hadoop:部署包含HDFS和YARN的Hadoop集群,配置HADOOP_HOME和PATH环境变量。

  1. 安装Spark

下载:从Spark官网下载适配Hadoop版本的二进制包,解压至各节点。

环境变量配置:在~/.bashrc中添加 export SPARK_HOME=/path/to/spark 和 export PATH=PATH:SPARK_HOME/bin:$SPARK_HOME/sbin ,并执行 source ~/.bashrc 刷新配置。

  1. 配置Spark on YARN

文件修改:在 $SPARK_HOME/conf 目录下,将spark - env.sh.template复制为spark - env.sh ,slaves.template复制为slaves 。在spark - env.sh中添加 export HADOOP_CONF_DIR=/path/to/hadoop/conf 和 export YARN_CONF_DIR=/path/to/hadoop/conf (指向Hadoop配置目录);在slaves文件中按每行一个的格式列出所有Worker节点的主机名或IP 。

配置分发:利用scp或rsync等工具,将Spark目录及配置文件复制到所有节点。

  1. 启动集群

启动Hadoop:依次执行 start - dfs.sh 启动HDFS , start - yarn.sh 启动YARN。

启动Spark Worker:在Master节点执行 start - slaves.sh ,通过访问YARN界面(默认端口8088 )查看节点状态。

  1. 验证任务

执行 spark - submit --master yarn --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark - examples*.jar 10 提交示例任务测试,可通过YARN界面或相关命令查看任务日志。

注意事项

通过 --executor - memory 和 --executor - cores 参数调整任务资源;若需实现高可用(HA) ,需配置ZooKeeper和多Master节点。

相关推荐
TDengine (老段)38 分钟前
TDengine 数学函数 SIGN 用户手册
大数据·数据库·sql·时序数据库·iot·tdengine·涛思数据
Elastic 中国社区官方博客1 小时前
在 Elastic Observability 中,启用 TSDS 集成可节省高达 70% 的指标存储
大数据·运维·数据库·elasticsearch·搜索引擎·全文检索·时序数据库
链上日记2 小时前
AIOT进军纳斯达克,推动Web3健康金融迈向全球资本市场
大数据·金融·web3
quintin20252 小时前
2025全面评测:企业培训课件制作软件哪个好一点呢
大数据·人工智能
北邮-吴怀玉2 小时前
2.2.1.2 大数据方法论与实践指南-基于飞书项目的项目管理规范
大数据·飞书·数据治理
KANGBboy2 小时前
大数据组件关系
大数据
B站_计算机毕业设计之家2 小时前
基于大数据的游戏数据可视化分析与推荐系统 Steam游戏 电子游戏 娱乐数据 Flask框架 selenium爬虫 协同过滤推荐算法 python✅
大数据·python·深度学习·游戏·信息可视化·1024程序员节·steam
笨蛋少年派2 小时前
Hadoop High Availability 简介
大数据·hadoop·分布式
Francek Chen2 小时前
【IoTDB】时序数据库选型迷茫?Apache IoTDB 为何成工业场景优选?
大数据·数据库·apache·时序数据库·iotdb
best_scenery4 小时前
excel中加载数据分析工具的步骤
大数据·数据分析·excel