【Ambari Plus】06.MapReduce2 安装

MapReduce2 安装

MapReduce2 在这套安装流程里不是单独再开一个向导安装,而是在选择 YARN 时被自动纳入依赖。页面会显示本次安装同时处理 YARN 和 MapReduce2,所以这一篇重点讲 MapReduce2 在同一向导里的角色分配和安装后确认。

本次 MapReduce2 角色如下:

主机 MapReduce2 角色
hadoop1.test.com MAPREDUCE2_CLIENT
hadoop2.test.com HISTORYSERVER、MAPREDUCE2_CLIENT
hadoop3.test.com MAPREDUCE2_CLIENT

1. 确认自动纳入依赖

勾选 YARN 后,服务选择页会提示 已自动纳入依赖服务 ,本次安装会同时处理 YARN、MapReduce2。

这里不要把 MapReduce2 取消掉。YARN 安装完成后,MapReduce2 的 HistoryServer 和客户端也会一起准备好,后面跑 MapReduce 或部分 Hive/Tez 相关检查时更顺。

2. 分配 HistoryServer

Master 分配页里,MapReduce2 的 Master 角色是 HISTORYSERVER,本次分配到 hadoop2.test.com。

HISTORYSERVER 用来查看 MapReduce 作业历史。它不需要和 ResourceManager 放在同一台机器上,教程环境里让它落到 hadoop2.test.com,可以和 hadoop1.test.com 上的 ResourceManager 分开。

3. 分配 MapReduce2 Client

Slave 与 Client 分配页里,MapReduce2 没有 Slave 进程,只有 MAPREDUCE2_CLIENT。

本次三台都安装 MapReduce2 Client。这样后面在任意节点上执行 MapReduce 示例任务、查看作业、排查 classpath 都比较方便。

4. 确认清单和 Kerberos 凭据

确认页会把 MapReduce2 和 YARN 一起列出来:

Kerberos 环境下,安装时同样要提交 KDC 管理员凭据:

这里继续使用:

配置项 示例值
管理员 Principal admin/admin@TEST.COM
管理员密码 填写实际 KDC 管理员密码

5. 等待 MapReduce2 Service Check

安装进度页里,除了 YARN 的检查,还会看到 MAPREDUCE2_SERVICE_CHECK。

这里我会重点确认:

检查项 期望结果
HISTORYSERVER 启动成功
MAPREDUCE2_CLIENT 三台主机安装完成
MAPREDUCE2_SERVICE_CHECK 执行成功
失败任务 0

Service Check 通过后,MapReduce2 才算真正可用。只看到 Client 安装完成还不够,因为 HistoryServer 和 YARN/HDFS 联动也要一起过。

6. 回到 MapReduce2 服务页

安装向导完成后,进入 MAPREDUCE2 服务详情页。

通过标准:

检查项 期望结果
服务状态 MAPREDUCE2 运行中
核心实例 HistoryServer 运行中
Client 三台主机已安装
待刷新配置 0
失败请求 0

MapReduce2 装好后,继续安装 Tez。Tez 会作为后面 Hive 执行引擎的重要依赖。

相关推荐
wuyk5551 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
数字新视界4 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
TDengine (老段)6 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
字节跳动数据平台9 小时前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
安心联-车辆监控管理系统11 小时前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
大大大大晴天1 天前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云1 天前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏1 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata1 天前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒1 天前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图