【Ambari Plus】11.Kafka 安装

Kafka 安装

Kafka 用来承载消息发布订阅和流式数据管道。它依赖 ZooKeeper,本篇环境已经提前安装并启动了三节点 ZooKeeper,所以可以直接进入 Kafka 安装。

本次教程环境采用单 Broker,放在 hadoop1.test.com。这样步骤更短,适合先跑通安装链路;生产环境不要照搬单 Broker,至少要规划多 Broker、副本数、磁盘目录、Topic 保留策略和 Ranger Kafka Plugin。

主机 Kafka 角色
hadoop1.test.com KAFKA_BROKER
hadoop2.test.com
hadoop3.test.com

::: warning

单 Broker 只适合教程、开发和功能验证。页面里也会提示"生产环境存在单点风险"。如果是生产集群,建议把 Broker 分散到多台机器,并把 default.replication.factormin.insync.replicas、日志目录和磁盘容量一起规划好。

:::

1. 选择 Kafka 服务

进入 服务与组件 ,点击 新增服务 ,勾选 Kafka

页面会显示 Kafka 依赖 ZooKeeper。前面已经完成 ZooKeeper 安装,所以这里不需要额外补依赖。

2. 分配 Kafka Broker

Master 分配页里,Kafka 的运行角色是 KAFKA_BROKER

本次保持教程环境的单 Broker 分配:

组件 主机 说明
KAFKA_BROKER hadoop1.test.com 对外提供 Kafka 消息读写服务。

如果你要做三 Broker,可以在这里把 hadoop1.test.comhadoop2.test.comhadoop3.test.com 都选上。多 Broker 时,后面的副本数和 ISR 配置也要一起改,不要只多选主机。

3. 确认没有 Slave 和 Client

Slave 与 Client 分配页里,Kafka 没有额外角色需要分配。

这里直接下一步即可。Kafka 的主要安装动作都围绕 Broker 组件展开。

4. 检查 Kafka 推荐配置

进入自定义配置页后,页面会根据当前集群拓扑生成 Kafka 配置。

先确认 待填写 0,再重点看这些配置方向:

配置方向 说明
listeners Broker 监听地址,Kerberos 环境里要和主机名、Principal 对齐。
Log directories Kafka 日志数据目录,生产环境建议放在独立磁盘。
default.replication.factor 单 Broker 环境只能按 1 跑,多 Broker 再提高副本数。
min.insync.replicas 与副本数配套调整,避免写入确认策略和 Broker 数不匹配。
ranger-kafka-* 安装 Ranger 后会出现 Kafka 审计和插件相关配置。

::: tip

第一次安装先让服务启动成功。Topic 级别的分区、副本、保留时间、压缩策略,可以等 Broker 正常后再按业务场景细化。

:::

5. 确认安装清单

确认页里会看到新增服务和 Broker 分配结果。

本次确认结果如下:

检查项 本次结果
新增服务 KAFKA
Master 分配 KAFKA_BROKER -> hadoop1.test.com
Slave 分配
Client 分配
配置校验 必填项已填写

确认无误后点击 开始安装

6. 提交 Kerberos 管理员凭据

开启 Kerberos 的集群中,新增 Kafka 也需要 KDC 管理员授权。

填写 KDC 管理员 Principal 和密码后提交,系统会生成并分发 Kafka 相关 keytab。

这里最容易填错的是密码:它不是数据库密码,也不是 Kafka 自己的密码,而是 KDC 管理员密码。

7. 等待 Kafka 安装完成

安装完成页出现 KAFKA,说明 Broker 安装、Kerberos 凭据分发、启动和服务检查已经完成。

安装过程中主要看:

阶段 期望结果
安装包 KAFKA_BROKER 安装完成。
Kerberos Kafka principal / keytab 分发完成。
启动服务 Kafka Broker 启动完成。
Service Check Kafka 服务检查成功。

如果 Broker 启动失败,先看 server.properties 里的监听地址、ZooKeeper 地址和 Kerberos principal。单 Broker 环境还要留意副本数配置不要大于 Broker 数。

8. 回到服务列表确认状态

回到 服务与组件 页面,Kafka 会出现在 查询数据 分类下。

页面里可以看到:

组件 状态
Kafka Broker 运行中

命令行可以做一个版本确认:

sh 复制代码
kafka-topics.sh --version

正常会看到类似结果:

text 复制代码
2.8.1 (Commit:unknown)

到这里,Kafka 的基础安装完成。下一步继续安装 Flink,后面如果要接 Atlas、Ranger Kafka Plugin 或业务 Topic,再单独补权限和 Topic 规划。

相关推荐
龙孚信息7 小时前
DXP进化论 贰-品牌出海深水区,你的数字体验基础设施跟上了吗?
大数据
kirs_ur9 小时前
SSD 在 AI 训练中的角色
大数据·服务器·人工智能
AI探索先锋9 小时前
AMD 2nm 芯片炸裂、欧洲首家人形机器人独角兽诞生、AI Agent 互联标准打响:10 条信号看懂产业变局|今日科技 AI 机器人快讯
大数据·人工智能·深度学习·搜索引擎·机器人
zzzll111110 小时前
字节 Agent 三面:讲讲 Agent 的记忆系统怎么设计?
大数据
聚焦前沿10 小时前
涡街流量计用户如何判断厂家是否靠谱
大数据·人工智能
莫名的好感°12 小时前
国内AI视频工具哪家强?FusionAI聚合即梦Seedance、可灵Kling、HappyHorse、Google Veo,一个平台看懂所有选择
大数据·人工智能
咖啡星人k12 小时前
企业内网引入 AI 编程:MonkeyCode 私有化部署思路
大数据·人工智能·私有化部署·monkeycode
爱吃提升12 小时前
python 分布式爬虫、爬虫合规与综合实战项目
分布式·爬虫·python
oort12313 小时前
吃上了自家的细糠,还挺丝滑,用起来手感还行,OortCloud发布新版AI编程平台,下载 OortCodex,Token多,免费薅
大数据·开发语言·人工智能·ai编程