【Ambari Plus】11.Kafka 安装

Kafka 安装

Kafka 用来承载消息发布订阅和流式数据管道。它依赖 ZooKeeper,本篇环境已经提前安装并启动了三节点 ZooKeeper,所以可以直接进入 Kafka 安装。

本次教程环境采用单 Broker,放在 hadoop1.test.com。这样步骤更短,适合先跑通安装链路;生产环境不要照搬单 Broker,至少要规划多 Broker、副本数、磁盘目录、Topic 保留策略和 Ranger Kafka Plugin。

主机 Kafka 角色
hadoop1.test.com KAFKA_BROKER
hadoop2.test.com 无
hadoop3.test.com 无

::: warning

单 Broker 只适合教程、开发和功能验证。页面里也会提示"生产环境存在单点风险"。如果是生产集群,建议把 Broker 分散到多台机器,并把 default.replication.factor、min.insync.replicas、日志目录和磁盘容量一起规划好。

:::

1. 选择 Kafka 服务

进入 服务与组件 ,点击 新增服务 ,勾选 Kafka。

页面会显示 Kafka 依赖 ZooKeeper。前面已经完成 ZooKeeper 安装,所以这里不需要额外补依赖。

2. 分配 Kafka Broker

Master 分配页里,Kafka 的运行角色是 KAFKA_BROKER。

本次保持教程环境的单 Broker 分配:

组件 主机 说明
KAFKA_BROKER hadoop1.test.com 对外提供 Kafka 消息读写服务。

如果你要做三 Broker,可以在这里把 hadoop1.test.com、hadoop2.test.com、hadoop3.test.com 都选上。多 Broker 时,后面的副本数和 ISR 配置也要一起改,不要只多选主机。

3. 确认没有 Slave 和 Client

Slave 与 Client 分配页里,Kafka 没有额外角色需要分配。

这里直接下一步即可。Kafka 的主要安装动作都围绕 Broker 组件展开。

4. 检查 Kafka 推荐配置

进入自定义配置页后,页面会根据当前集群拓扑生成 Kafka 配置。

先确认 待填写 0,再重点看这些配置方向:

配置方向 说明
listeners Broker 监听地址,Kerberos 环境里要和主机名、Principal 对齐。
Log directories Kafka 日志数据目录,生产环境建议放在独立磁盘。
default.replication.factor 单 Broker 环境只能按 1 跑,多 Broker 再提高副本数。
min.insync.replicas 与副本数配套调整,避免写入确认策略和 Broker 数不匹配。
ranger-kafka-* 安装 Ranger 后会出现 Kafka 审计和插件相关配置。

::: tip

第一次安装先让服务启动成功。Topic 级别的分区、副本、保留时间、压缩策略,可以等 Broker 正常后再按业务场景细化。

:::

5. 确认安装清单

确认页里会看到新增服务和 Broker 分配结果。

本次确认结果如下:

检查项 本次结果
新增服务 KAFKA
Master 分配 KAFKA_BROKER -> hadoop1.test.com
Slave 分配 无
Client 分配 无
配置校验 必填项已填写

确认无误后点击 开始安装。

6. 提交 Kerberos 管理员凭据

开启 Kerberos 的集群中,新增 Kafka 也需要 KDC 管理员授权。

填写 KDC 管理员 Principal 和密码后提交,系统会生成并分发 Kafka 相关 keytab。

这里最容易填错的是密码:它不是数据库密码,也不是 Kafka 自己的密码,而是 KDC 管理员密码。

7. 等待 Kafka 安装完成

安装完成页出现 KAFKA,说明 Broker 安装、Kerberos 凭据分发、启动和服务检查已经完成。

安装过程中主要看:

阶段 期望结果
安装包 KAFKA_BROKER 安装完成。
Kerberos Kafka principal / keytab 分发完成。
启动服务 Kafka Broker 启动完成。
Service Check Kafka 服务检查成功。

如果 Broker 启动失败,先看 server.properties 里的监听地址、ZooKeeper 地址和 Kerberos principal。单 Broker 环境还要留意副本数配置不要大于 Broker 数。

8. 回到服务列表确认状态

回到 服务与组件 页面,Kafka 会出现在 查询数据 分类下。

页面里可以看到:

组件 状态
Kafka Broker 运行中

命令行可以做一个版本确认:

sh 复制代码
kafka-topics.sh --version

正常会看到类似结果:

text 复制代码
2.8.1 (Commit:unknown)

到这里,Kafka 的基础安装完成。下一步继续安装 Flink,后面如果要接 Atlas、Ranger Kafka Plugin 或业务 Topic,再单独补权限和 Topic 规划。

相关推荐
Regentsoft丽晶软件23 分钟前
服装智能配补调系统哪家强?售罄率提升背后的算法逻辑分析
大数据·数据库架构·零售
临床数据科学和人工智能兴趣组24 分钟前
字符串转换为句子风格
大数据·数据库·人工智能·r语言·r语言-4.2.1
YH_Analytics30 分钟前
2026 年二氧化碳气体回收设备产业链分析报告市场洞察
大数据·人工智能
橙色云-智橙协同研发30 分钟前
电子高科技行业:机械与电子(MCAD & ECAD)如何协同?
大数据·运维·服务器·人工智能·安全
派小心.33 分钟前
A/B实验分层随机种子的稳定性验证
大数据·服务器·前端·数据分析
shujudang39 分钟前
AI会员运营的数据实践:人群预测、等级策略与效果分析
大数据·人工智能·数据挖掘·数据分析
zoutao9843 分钟前
DeepSeek 智能效果实测与能力边界解析
大数据·运维·人工智能
MerryLuna1 小时前
专业的EUDR机构
大数据·人工智能·python
wespaul1 小时前
VeapAI 自然语言操作实战|第 04 篇:系统数据加工——把系统自身的元数据吃成知识
java·大数据·运维·数据库·人工智能
KKKlucifer1 小时前
从人工堆标到模型驱动:数据分类分级平台的现实分化
大数据·人工智能·分类