【Ambari Plus】06.MapReduce2 安装

MapReduce2 安装

MapReduce2 在这套安装流程里不是单独再开一个向导安装,而是在选择 YARN 时被自动纳入依赖。页面会显示本次安装同时处理 YARNMapReduce2,所以这一篇重点讲 MapReduce2 在同一向导里的角色分配和安装后确认。

本次 MapReduce2 角色如下:

主机 MapReduce2 角色
hadoop1.test.com MAPREDUCE2_CLIENT
hadoop2.test.com HISTORYSERVERMAPREDUCE2_CLIENT
hadoop3.test.com MAPREDUCE2_CLIENT

1. 确认自动纳入依赖

勾选 YARN 后,服务选择页会提示 已自动纳入依赖服务 ,本次安装会同时处理 YARNMapReduce2

这里不要把 MapReduce2 取消掉。YARN 安装完成后,MapReduce2 的 HistoryServer 和客户端也会一起准备好,后面跑 MapReduce 或部分 Hive/Tez 相关检查时更顺。

2. 分配 HistoryServer

Master 分配页里,MapReduce2 的 Master 角色是 HISTORYSERVER,本次分配到 hadoop2.test.com

HISTORYSERVER 用来查看 MapReduce 作业历史。它不需要和 ResourceManager 放在同一台机器上,教程环境里让它落到 hadoop2.test.com,可以和 hadoop1.test.com 上的 ResourceManager 分开。

3. 分配 MapReduce2 Client

Slave 与 Client 分配页里,MapReduce2 没有 Slave 进程,只有 MAPREDUCE2_CLIENT

本次三台都安装 MapReduce2 Client。这样后面在任意节点上执行 MapReduce 示例任务、查看作业、排查 classpath 都比较方便。

4. 确认清单和 Kerberos 凭据

确认页会把 MapReduce2 和 YARN 一起列出来:

Kerberos 环境下,安装时同样要提交 KDC 管理员凭据:

这里继续使用:

配置项 示例值
管理员 Principal admin/admin@TEST.COM
管理员密码 填写实际 KDC 管理员密码

5. 等待 MapReduce2 Service Check

安装进度页里,除了 YARN 的检查,还会看到 MAPREDUCE2_SERVICE_CHECK

这里我会重点确认:

检查项 期望结果
HISTORYSERVER 启动成功
MAPREDUCE2_CLIENT 三台主机安装完成
MAPREDUCE2_SERVICE_CHECK 执行成功
失败任务 0

Service Check 通过后,MapReduce2 才算真正可用。只看到 Client 安装完成还不够,因为 HistoryServer 和 YARN/HDFS 联动也要一起过。

6. 回到 MapReduce2 服务页

安装向导完成后,进入 MAPREDUCE2 服务详情页。

通过标准:

检查项 期望结果
服务状态 MAPREDUCE2 运行中
核心实例 HistoryServer 运行中
Client 三台主机已安装
待刷新配置 0
失败请求 0

MapReduce2 装好后,继续安装 Tez。Tez 会作为后面 Hive 执行引擎的重要依赖。

相关推荐
QiLinkOS3 小时前
第三视觉理解徐玉生与他的商业活动(30)
大数据·c++·人工智能·算法·开源协议
超级数据查看器4 小时前
超级数据查看器 v10.0 发布
java·大数据·数据库·sqlite·安卓
数安3000天4 小时前
增量数据如何自动分类分级,避免目录“过期“?
大数据·数据库
Data-Miner6 小时前
智慧监狱大数据方案,颠覆传统监管新模式!
大数据
RFID科技的魅力8 小时前
RFID资产管理系统选型避坑指南:从需求梳理到落地验证
大数据·人工智能·物联网·rfid
小猴子下山1239 小时前
2026年无锡细胞存储市场格局观察:四家企业的传承脉络与业务分野
大数据·人工智能·精选
2503_9317124810 小时前
中小学课桌椅/报告厅座椅/大学教室桌椅/校园课桌椅/高校阶梯教室排椅公司优选
大数据
蓝速科技11 小时前
蓝速科技三色灯光会议预约门牌深度评测
大数据·人工智能·科技
2601_9628464911 小时前
计算机毕业设计之基于大数据加护的国产美妆行业发展状况研究
大数据·人工智能·深度学习·信息可视化·课程设计
泛普软件11 小时前
工程进销存管理软件如何选型,管控材料领用损耗与对账结算风险
大数据·软件需求