【Ambari Plus】06.MapReduce2 安装

MapReduce2 安装

MapReduce2 在这套安装流程里不是单独再开一个向导安装,而是在选择 YARN 时被自动纳入依赖。页面会显示本次安装同时处理 YARNMapReduce2,所以这一篇重点讲 MapReduce2 在同一向导里的角色分配和安装后确认。

本次 MapReduce2 角色如下:

主机 MapReduce2 角色
hadoop1.test.com MAPREDUCE2_CLIENT
hadoop2.test.com HISTORYSERVERMAPREDUCE2_CLIENT
hadoop3.test.com MAPREDUCE2_CLIENT

1. 确认自动纳入依赖

勾选 YARN 后,服务选择页会提示 已自动纳入依赖服务 ,本次安装会同时处理 YARNMapReduce2

这里不要把 MapReduce2 取消掉。YARN 安装完成后,MapReduce2 的 HistoryServer 和客户端也会一起准备好,后面跑 MapReduce 或部分 Hive/Tez 相关检查时更顺。

2. 分配 HistoryServer

Master 分配页里,MapReduce2 的 Master 角色是 HISTORYSERVER,本次分配到 hadoop2.test.com

HISTORYSERVER 用来查看 MapReduce 作业历史。它不需要和 ResourceManager 放在同一台机器上,教程环境里让它落到 hadoop2.test.com,可以和 hadoop1.test.com 上的 ResourceManager 分开。

3. 分配 MapReduce2 Client

Slave 与 Client 分配页里,MapReduce2 没有 Slave 进程,只有 MAPREDUCE2_CLIENT

本次三台都安装 MapReduce2 Client。这样后面在任意节点上执行 MapReduce 示例任务、查看作业、排查 classpath 都比较方便。

4. 确认清单和 Kerberos 凭据

确认页会把 MapReduce2 和 YARN 一起列出来:

Kerberos 环境下,安装时同样要提交 KDC 管理员凭据:

这里继续使用:

配置项 示例值
管理员 Principal admin/admin@TEST.COM
管理员密码 填写实际 KDC 管理员密码

5. 等待 MapReduce2 Service Check

安装进度页里,除了 YARN 的检查,还会看到 MAPREDUCE2_SERVICE_CHECK

这里我会重点确认:

检查项 期望结果
HISTORYSERVER 启动成功
MAPREDUCE2_CLIENT 三台主机安装完成
MAPREDUCE2_SERVICE_CHECK 执行成功
失败任务 0

Service Check 通过后,MapReduce2 才算真正可用。只看到 Client 安装完成还不够,因为 HistoryServer 和 YARN/HDFS 联动也要一起过。

6. 回到 MapReduce2 服务页

安装向导完成后,进入 MAPREDUCE2 服务详情页。

通过标准:

检查项 期望结果
服务状态 MAPREDUCE2 运行中
核心实例 HistoryServer 运行中
Client 三台主机已安装
待刷新配置 0
失败请求 0

MapReduce2 装好后,继续安装 Tez。Tez 会作为后面 Hive 执行引擎的重要依赖。

相关推荐
AC赳赳老秦32 分钟前
风控岗应用:OpenClaw 采集公开司法与经营异常数据,自动生成企业风险评估报告
大数据·c语言·数据库·人工智能·python·php·openclaw
starzy19902 小时前
SparkSQL 数据源与底层架构深度剖析
大数据·分布式·架构·spark
Elastic 中国社区官方博客3 小时前
你的 AI agent 不需要你的 API 密钥:使用 OAuth 2.1 对 Elasticsearch MCP 服务器进行身份验证
大数据·运维·人工智能·elasticsearch·搜索引擎·全文检索
龙亘川7 小时前
综合执法一体化数字管控平台介绍
大数据·人工智能·安全·智慧城市
Json____7 小时前
五金制品行业-企业官网源码
java·大数据·数据库·企业站·wwwoop.com
黄焖鸡能干四碗8 小时前
信息安全保障方案(Word文件)
大数据·网络·人工智能·架构·区块链
大东(AIP内容运营专员)8 小时前
我用 OPC 模式运营一年多的AI产品
大数据·人工智能
互联网中的一颗神经元9 小时前
ZZ — Git 速查表
大数据·git·elasticsearch
roman_日积跬步-终至千里10 小时前
【Spark与SQL网关(1)】Spark 提交模式与 Spark Thrift Server:到底在“提交”什么
大数据·sql·spark