如何搭建spark yarn 模式的集群集群

以下是搭建Spark YARN模式集群的一般步骤:

准备工作

  • 确保集群中各节点安装了Java环境,并配置好 JAVA_HOME 环境变量。

  • 各节点间能通过SSH免密登录。

  • 安装并配置好Hadoop集群,YARN作为Hadoop的资源管理器,Spark YARN模式需要依赖Hadoop环境。

下载与安装Spark

  • 在官网下载适合你系统的Spark版本,将下载的压缩包上传到集群的主节点,并解压到指定目录。

  • 配置 SPARK_HOME 环境变量,在 spark-env.sh 文件中配置相关环境参数,如 export SPARK_DIST_CLASSPATH=$(hadoop classpath) ,让Spark能够找到Hadoop的相关类。

配置Spark

  • 进入Spark的配置目录,复制 spark-defaults.conf.template 为 spark-defaults.conf ,并进行编辑,设置 spark.master 为 yarn , spark.submit.deployMode 为 cluster 等参数。

  • 复制 slaves.template 为 slaves ,在 slaves 文件中列出所有从节点的主机名或IP地址。

分发Spark到从节点

将安装好的Spark目录通过 scp 命令复制到所有从节点的相同目录下。

启动集群

  • 先启动Hadoop集群,包括NameNode、DataNode、ResourceManager、NodeManager等服务。

  • 在主节点上进入Spark的 sbin 目录,执行 start-all.sh 脚本启动Spark集群,会启动Master和Worker等进程。

验证集群

  • 提交一个Spark示例应用程序,如 spark-examples 中的 WordCount 程序,观察任务是否能在YARN集群上正常运行。

  • 通过YARN的Web界面(通常是 http://resourcemanager_ip:8088 )查看应用程序的运行情况和资源使用情况,也可以通过Spark的Web界面(通常是 http://master_ip:8080 )查看Spark集群的状态。

相关推荐
GitCode官方16 小时前
科大讯飞星火科技文献大模型 Spark-Scilit-X1-13B 在 GitCode 开源,助力科研智能化革新!
科技·spark·gitcode
想ai抽20 小时前
大数据计算引擎-从源码看Spark AQE对于倾斜的处理
大数据·数据仓库·spark
菜鸡儿齐1 天前
spark组件-spark core(批处理)-rdd创建
大数据·分布式·spark
B站_计算机毕业设计之家2 天前
python股票交易数据管理系统 金融数据 分析可视化 Django框架 爬虫技术 大数据技术 Hadoop spark(源码)✅
大数据·hadoop·python·金融·spark·股票·推荐算法
想ai抽2 天前
Spark的shuffle类型与对比
大数据·数据仓库·spark
阿里云大数据AI技术3 天前
从“开源开放”走向“高效智能”:阿里云 EMR 年度重磅发布
spark
随心............3 天前
yarn面试题
大数据·hive·spark
ZHOU_WUYI3 天前
Apache Spark 集群部署与使用指南
大数据·spark·apache
随心............4 天前
在开发过程中遇到问题如何解决,以及两个经典问题
hive·hadoop·spark