【Ambari Plus】06.MapReduce2 安装

MapReduce2 安装

MapReduce2 在这套安装流程里不是单独再开一个向导安装,而是在选择 YARN 时被自动纳入依赖。页面会显示本次安装同时处理 YARNMapReduce2,所以这一篇重点讲 MapReduce2 在同一向导里的角色分配和安装后确认。

本次 MapReduce2 角色如下:

主机 MapReduce2 角色
hadoop1.test.com MAPREDUCE2_CLIENT
hadoop2.test.com HISTORYSERVERMAPREDUCE2_CLIENT
hadoop3.test.com MAPREDUCE2_CLIENT

1. 确认自动纳入依赖

勾选 YARN 后,服务选择页会提示 已自动纳入依赖服务 ,本次安装会同时处理 YARNMapReduce2

这里不要把 MapReduce2 取消掉。YARN 安装完成后,MapReduce2 的 HistoryServer 和客户端也会一起准备好,后面跑 MapReduce 或部分 Hive/Tez 相关检查时更顺。

2. 分配 HistoryServer

Master 分配页里,MapReduce2 的 Master 角色是 HISTORYSERVER,本次分配到 hadoop2.test.com

HISTORYSERVER 用来查看 MapReduce 作业历史。它不需要和 ResourceManager 放在同一台机器上,教程环境里让它落到 hadoop2.test.com,可以和 hadoop1.test.com 上的 ResourceManager 分开。

3. 分配 MapReduce2 Client

Slave 与 Client 分配页里,MapReduce2 没有 Slave 进程,只有 MAPREDUCE2_CLIENT

本次三台都安装 MapReduce2 Client。这样后面在任意节点上执行 MapReduce 示例任务、查看作业、排查 classpath 都比较方便。

4. 确认清单和 Kerberos 凭据

确认页会把 MapReduce2 和 YARN 一起列出来:

Kerberos 环境下,安装时同样要提交 KDC 管理员凭据:

这里继续使用:

配置项 示例值
管理员 Principal admin/admin@TEST.COM
管理员密码 填写实际 KDC 管理员密码

5. 等待 MapReduce2 Service Check

安装进度页里,除了 YARN 的检查,还会看到 MAPREDUCE2_SERVICE_CHECK

这里我会重点确认:

检查项 期望结果
HISTORYSERVER 启动成功
MAPREDUCE2_CLIENT 三台主机安装完成
MAPREDUCE2_SERVICE_CHECK 执行成功
失败任务 0

Service Check 通过后,MapReduce2 才算真正可用。只看到 Client 安装完成还不够,因为 HistoryServer 和 YARN/HDFS 联动也要一起过。

6. 回到 MapReduce2 服务页

安装向导完成后,进入 MAPREDUCE2 服务详情页。

通过标准:

检查项 期望结果
服务状态 MAPREDUCE2 运行中
核心实例 HistoryServer 运行中
Client 三台主机已安装
待刷新配置 0
失败请求 0

MapReduce2 装好后,继续安装 Tez。Tez 会作为后面 Hive 执行引擎的重要依赖。

相关推荐
外域速览2 小时前
2026世界动力电池大会今日宜宾启幕:固态电池从实验室走向量产,IEC 国际标准终结概念乱象
大数据·人工智能·microsoft
小五传输2 小时前
FTP替代怎么做?医院文件安全传输选型与迁移指南
大数据·运维·安全
小刘快学习2 小时前
一把钥匙开所有门:企业AI网关的统一身份与权限治理
大数据·人工智能
大模型码小白4 小时前
AI大模型接入SDK:人工智能核心概念与发展史
大数据·运维·人工智能·安全·prompt
电商API_180079052474 小时前
电商商品价格监控工具淘宝京东商品价格抓取API项目实操分享
java·大数据·开发语言·前端·数据挖掘
金立基胶粘5 小时前
如何利用替塑油推动环保发展?
大数据·安全
用户3610588626125 小时前
SparkStreaming 之 Kafka 与 SparkStreaming 参数配置详解
大数据·spark
浔溺5 小时前
al+大数据每日学习笔记31
大数据·笔记·学习
Raas1005 小时前
AI网关和大模型网关区别?MAI Gateway(魔芋企业级AI网关)如何实现AI流量统一治理
大数据·人工智能·gateway·ai网关·mai gateway·企业级产品
DO_Community6 小时前
AMD旗舰GPU仅需4美元每小时,DigitalOcean上线Spot GPU实例
大数据·人工智能·agent·ai编程