部署Spark

本章探讨Spark的基础架构,了解这些有助于部署和运行Spark应用程序

  1. 集群部署的选择
  2. Spark的不同集群管理者
  3. 部署注意事项以及配置部署

在大多数情况下,Spark在各种集群管理器下的工作模式类似。然而,定制集群管理器就需要了解每个集群管理系统的工作原理,最困难的部分是选择集群管理器(或选择托管服务)

Spark有三个官方支持的集群管理器

  1. Standalone模式
  2. Hadoop Yarn模式
  3. Apache Mesos

这些集群管理器维护一组机器用于部署你的Spark应用程序,这些集群管理器对集群的管理模式各不相同

在哪里部署Spark集群

关于在哪里部署Spark集群,有两个选择:部署在本地集群或公共云中,这个选择很重要

Yarn集群管理器

Hadoop Yarn是支持作业调度和集群资源管理的框架,Spark经常被误认为是Hadoop生态系统的一部分,但事实上,Spark与Hadoop几乎没有关系,虽然Spark本身支持Hadoop Yarn集群管理器,但它并不需要Hadoop的支持

通过在spark-submit命令行参数中将master节点指定为Yarn,你可以在Hadoop Yarn上运行Spark作业,就像使用Standalone模式一样,你可以根据需求调整集群配置,由于Hadoop Yarn是大量不同执行框架的通用调度器,因此配置的参数数量自然也多于Spark的Standalone模式

提交应用程序

将应用程序提交给Yarn时,与其他部署的核心区别在于,--master需要指定的是yarn而不是master节点的IP(在Standalone模式中需要master节点IP)。Spark将使用环境变量HADOOP_CONF_DIR或YARN_CONF_DIR来查找Yarn配置文件,在将这些环境变量设置为Hadoop的安装目录后,就可以运行spark-submit来提交应用程序

有两种部署模式可用于在Yarn上启动Spark

在Yarn应用程序上配置Spark

将Spark部署为Yarn应用程序需要你了解Spark应用程序的各种不同配置及其含义。

Hadoop配置

如果想使用Spark从HDFS进行读写,则需要在Spark的classpath中包含两个Hadoop配置文件

Yarn的应用程序属性

有很多与hadoop相关的配置,也有很多与Spark不太相关的配置,他们是为了运行或保护Yarn而同时会涉及Spark的运行方式

相关推荐
YIAN2 小时前
从 LangChain 到 DeepAgents:手把手拆解 createAgent、Middleware 与复杂 Agent
javascript·langchain·deepseek
冬夜Zis3 小时前
顺着作用域链和 outer 指针,一次性看懂闭包底层逻辑
javascript
Ceelog4 小时前
Mac 上怎么找出并安全清理旧的 node_modules?(实测 304 个占 66.3 GB)
javascript
数字新视界4 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
小码哥0684 小时前
智慧物业系统源码定制:公告发布范围与住户阅读记录设计
前端·javascript·vue.js·物业管理·物业系统·物业软件
大大大大晴天4 小时前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
Highcharts.js6 小时前
Highcharts直方图使用指南:如何根据派生数据创建直方图?
javascript·信息可视化·直方图·highcharts·图表开发·创建图表·派生数据
如夏倾城6 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk5556 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证6 小时前
大数据与会计专业性价比高的证书有哪些?
大数据