【Ambari Plus】11.Kafka 安装

Kafka 安装

Kafka 用来承载消息发布订阅和流式数据管道。它依赖 ZooKeeper,本篇环境已经提前安装并启动了三节点 ZooKeeper,所以可以直接进入 Kafka 安装。

本次教程环境采用单 Broker,放在 hadoop1.test.com。这样步骤更短,适合先跑通安装链路;生产环境不要照搬单 Broker,至少要规划多 Broker、副本数、磁盘目录、Topic 保留策略和 Ranger Kafka Plugin。

主机 Kafka 角色
hadoop1.test.com KAFKA_BROKER
hadoop2.test.com
hadoop3.test.com

::: warning

单 Broker 只适合教程、开发和功能验证。页面里也会提示"生产环境存在单点风险"。如果是生产集群,建议把 Broker 分散到多台机器,并把 default.replication.factormin.insync.replicas、日志目录和磁盘容量一起规划好。

:::

1. 选择 Kafka 服务

进入 服务与组件 ,点击 新增服务 ,勾选 Kafka

页面会显示 Kafka 依赖 ZooKeeper。前面已经完成 ZooKeeper 安装,所以这里不需要额外补依赖。

2. 分配 Kafka Broker

Master 分配页里,Kafka 的运行角色是 KAFKA_BROKER

本次保持教程环境的单 Broker 分配:

组件 主机 说明
KAFKA_BROKER hadoop1.test.com 对外提供 Kafka 消息读写服务。

如果你要做三 Broker,可以在这里把 hadoop1.test.comhadoop2.test.comhadoop3.test.com 都选上。多 Broker 时,后面的副本数和 ISR 配置也要一起改,不要只多选主机。

3. 确认没有 Slave 和 Client

Slave 与 Client 分配页里,Kafka 没有额外角色需要分配。

这里直接下一步即可。Kafka 的主要安装动作都围绕 Broker 组件展开。

4. 检查 Kafka 推荐配置

进入自定义配置页后,页面会根据当前集群拓扑生成 Kafka 配置。

先确认 待填写 0,再重点看这些配置方向:

配置方向 说明
listeners Broker 监听地址,Kerberos 环境里要和主机名、Principal 对齐。
Log directories Kafka 日志数据目录,生产环境建议放在独立磁盘。
default.replication.factor 单 Broker 环境只能按 1 跑,多 Broker 再提高副本数。
min.insync.replicas 与副本数配套调整,避免写入确认策略和 Broker 数不匹配。
ranger-kafka-* 安装 Ranger 后会出现 Kafka 审计和插件相关配置。

::: tip

第一次安装先让服务启动成功。Topic 级别的分区、副本、保留时间、压缩策略,可以等 Broker 正常后再按业务场景细化。

:::

5. 确认安装清单

确认页里会看到新增服务和 Broker 分配结果。

本次确认结果如下:

检查项 本次结果
新增服务 KAFKA
Master 分配 KAFKA_BROKER -> hadoop1.test.com
Slave 分配
Client 分配
配置校验 必填项已填写

确认无误后点击 开始安装

6. 提交 Kerberos 管理员凭据

开启 Kerberos 的集群中,新增 Kafka 也需要 KDC 管理员授权。

填写 KDC 管理员 Principal 和密码后提交,系统会生成并分发 Kafka 相关 keytab。

这里最容易填错的是密码:它不是数据库密码,也不是 Kafka 自己的密码,而是 KDC 管理员密码。

7. 等待 Kafka 安装完成

安装完成页出现 KAFKA,说明 Broker 安装、Kerberos 凭据分发、启动和服务检查已经完成。

安装过程中主要看:

阶段 期望结果
安装包 KAFKA_BROKER 安装完成。
Kerberos Kafka principal / keytab 分发完成。
启动服务 Kafka Broker 启动完成。
Service Check Kafka 服务检查成功。

如果 Broker 启动失败,先看 server.properties 里的监听地址、ZooKeeper 地址和 Kerberos principal。单 Broker 环境还要留意副本数配置不要大于 Broker 数。

8. 回到服务列表确认状态

回到 服务与组件 页面,Kafka 会出现在 查询数据 分类下。

页面里可以看到:

组件 状态
Kafka Broker 运行中

命令行可以做一个版本确认:

sh 复制代码
kafka-topics.sh --version

正常会看到类似结果:

text 复制代码
2.8.1 (Commit:unknown)

到这里,Kafka 的基础安装完成。下一步继续安装 Flink,后面如果要接 Atlas、Ranger Kafka Plugin 或业务 Topic,再单独补权限和 Topic 规划。

相关推荐
TDengine (老段)3 小时前
TDengine 线程模型 — 网络、调度、执行
大数据·数据库·物联网·制造·时序数据库·tdengine·涛思数据
智购科技自动贩卖机5 小时前
自动售货机嵌入式状态机设计实战:从45个事件源到层次型状态机的工程重构
大数据·人工智能·stm32·物联网·重构·硬件架构
乐迪信息6 小时前
智慧港口船舶AI算法实现在线状态监测
大数据·人工智能·深度学习·算法·计算机视觉
Raas1006 小时前
MAI Gateway(魔芋企业级AI网关)对比分析:AI网关和API网关区别?企业级能力差距一览
大数据·人工智能·数据挖掘·mai gateway·企业级产品
Neighbor_OldY6 小时前
云上安全配置审计与误配置修复实战:从安全组、OSS、RAM到数据库的全栈排查复盘
大数据·运维·安全·云计算
工业甲酰苯胺7 小时前
AI低代码破局:制造业数智转型落地实战
大数据·人工智能·低代码·制造
爱浦路 IPLOOK8 小时前
矿山无人化作业5G专网方案:企业专网核心网络选型分析
网络·分布式·科技·5g·信息与通信
大大大大晴天8 小时前
每天认识一个组件:流式存储Apache Fluss
大数据
熊野君8 小时前
第 4 章 技术产品经理核心能力模型
大数据·人工智能·产品经理
财复视界8 小时前
光智科技从“光学元件”到“稀散金属材料平台”的进化逻辑
大数据·人工智能·科技