【Ambari Plus】06.MapReduce2 安装

MapReduce2 安装

MapReduce2 在这套安装流程里不是单独再开一个向导安装,而是在选择 YARN 时被自动纳入依赖。页面会显示本次安装同时处理 YARN 和 MapReduce2,所以这一篇重点讲 MapReduce2 在同一向导里的角色分配和安装后确认。

本次 MapReduce2 角色如下:

主机 MapReduce2 角色
hadoop1.test.com MAPREDUCE2_CLIENT
hadoop2.test.com HISTORYSERVER、MAPREDUCE2_CLIENT
hadoop3.test.com MAPREDUCE2_CLIENT

1. 确认自动纳入依赖

勾选 YARN 后,服务选择页会提示 已自动纳入依赖服务 ,本次安装会同时处理 YARN、MapReduce2。

这里不要把 MapReduce2 取消掉。YARN 安装完成后,MapReduce2 的 HistoryServer 和客户端也会一起准备好,后面跑 MapReduce 或部分 Hive/Tez 相关检查时更顺。

2. 分配 HistoryServer

Master 分配页里,MapReduce2 的 Master 角色是 HISTORYSERVER,本次分配到 hadoop2.test.com。

HISTORYSERVER 用来查看 MapReduce 作业历史。它不需要和 ResourceManager 放在同一台机器上,教程环境里让它落到 hadoop2.test.com,可以和 hadoop1.test.com 上的 ResourceManager 分开。

3. 分配 MapReduce2 Client

Slave 与 Client 分配页里,MapReduce2 没有 Slave 进程,只有 MAPREDUCE2_CLIENT。

本次三台都安装 MapReduce2 Client。这样后面在任意节点上执行 MapReduce 示例任务、查看作业、排查 classpath 都比较方便。

4. 确认清单和 Kerberos 凭据

确认页会把 MapReduce2 和 YARN 一起列出来:

Kerberos 环境下,安装时同样要提交 KDC 管理员凭据:

这里继续使用:

配置项 示例值
管理员 Principal admin/admin@TEST.COM
管理员密码 填写实际 KDC 管理员密码

5. 等待 MapReduce2 Service Check

安装进度页里,除了 YARN 的检查,还会看到 MAPREDUCE2_SERVICE_CHECK。

这里我会重点确认:

检查项 期望结果
HISTORYSERVER 启动成功
MAPREDUCE2_CLIENT 三台主机安装完成
MAPREDUCE2_SERVICE_CHECK 执行成功
失败任务 0

Service Check 通过后,MapReduce2 才算真正可用。只看到 Client 安装完成还不够,因为 HistoryServer 和 YARN/HDFS 联动也要一起过。

6. 回到 MapReduce2 服务页

安装向导完成后,进入 MAPREDUCE2 服务详情页。

通过标准:

检查项 期望结果
服务状态 MAPREDUCE2 运行中
核心实例 HistoryServer 运行中
Client 三台主机已安装
待刷新配置 0
失败请求 0

MapReduce2 装好后,继续安装 Tez。Tez 会作为后面 Hive 执行引擎的重要依赖。

相关推荐
SelectDB13 小时前
时间旅行与快照能力速查:Doris 侧三条落地路径
大数据·数据库·数据分析
SelectDB14 小时前
云数仓成本结构拆解速查:五层计费 vs Doris / 托管形态
大数据·数据库·数据分析
SelectDB14 小时前
什么场景能承接与建议保留:Doris vs Snowflake 边界速查
大数据·数据库·数据分析
裕晟资质规划19 小时前
三类资质变更报告时限差在哪?军工 15 日、集成印制 10 日
大数据·服务器·网络
考拉讲支付19 小时前
母婴亲子服务平台分账架构设计:多场景多方分账与合规清结算实践
大数据·运维·人工智能·微信小程序·架构·微信公众平台
什么嘻嘻果冻20 小时前
无代码开发平台的技术架构,恐象 AI 的生成引擎拆解
大数据·人工智能·低代码
用户36105886261220 小时前
Flink 优化之 CheckPoint 优化及参数详解:从原理到生产环境调优的完整指南
大数据·flink
注塑机数据采集联网20 小时前
如何解决注塑机数据采集联网对接MES系统数据WiFi传输数据不稳问题
大数据·数据库·物联网·数据挖掘·数据分析
samFuB20 小时前
【数据集】城镇化水平数据集-中国/省/市/县(2000-2025年)
大数据