【Ambari Plus】11.Kafka 安装

Kafka 安装

Kafka 用来承载消息发布订阅和流式数据管道。它依赖 ZooKeeper,本篇环境已经提前安装并启动了三节点 ZooKeeper,所以可以直接进入 Kafka 安装。

本次教程环境采用单 Broker,放在 hadoop1.test.com。这样步骤更短,适合先跑通安装链路;生产环境不要照搬单 Broker,至少要规划多 Broker、副本数、磁盘目录、Topic 保留策略和 Ranger Kafka Plugin。

主机 Kafka 角色
hadoop1.test.com KAFKA_BROKER
hadoop2.test.com
hadoop3.test.com

::: warning

单 Broker 只适合教程、开发和功能验证。页面里也会提示"生产环境存在单点风险"。如果是生产集群,建议把 Broker 分散到多台机器,并把 default.replication.factormin.insync.replicas、日志目录和磁盘容量一起规划好。

:::

1. 选择 Kafka 服务

进入 服务与组件 ,点击 新增服务 ,勾选 Kafka

页面会显示 Kafka 依赖 ZooKeeper。前面已经完成 ZooKeeper 安装,所以这里不需要额外补依赖。

2. 分配 Kafka Broker

Master 分配页里,Kafka 的运行角色是 KAFKA_BROKER

本次保持教程环境的单 Broker 分配:

组件 主机 说明
KAFKA_BROKER hadoop1.test.com 对外提供 Kafka 消息读写服务。

如果你要做三 Broker,可以在这里把 hadoop1.test.comhadoop2.test.comhadoop3.test.com 都选上。多 Broker 时,后面的副本数和 ISR 配置也要一起改,不要只多选主机。

3. 确认没有 Slave 和 Client

Slave 与 Client 分配页里,Kafka 没有额外角色需要分配。

这里直接下一步即可。Kafka 的主要安装动作都围绕 Broker 组件展开。

4. 检查 Kafka 推荐配置

进入自定义配置页后,页面会根据当前集群拓扑生成 Kafka 配置。

先确认 待填写 0,再重点看这些配置方向:

配置方向 说明
listeners Broker 监听地址,Kerberos 环境里要和主机名、Principal 对齐。
Log directories Kafka 日志数据目录,生产环境建议放在独立磁盘。
default.replication.factor 单 Broker 环境只能按 1 跑,多 Broker 再提高副本数。
min.insync.replicas 与副本数配套调整,避免写入确认策略和 Broker 数不匹配。
ranger-kafka-* 安装 Ranger 后会出现 Kafka 审计和插件相关配置。

::: tip

第一次安装先让服务启动成功。Topic 级别的分区、副本、保留时间、压缩策略,可以等 Broker 正常后再按业务场景细化。

:::

5. 确认安装清单

确认页里会看到新增服务和 Broker 分配结果。

本次确认结果如下:

检查项 本次结果
新增服务 KAFKA
Master 分配 KAFKA_BROKER -> hadoop1.test.com
Slave 分配
Client 分配
配置校验 必填项已填写

确认无误后点击 开始安装

6. 提交 Kerberos 管理员凭据

开启 Kerberos 的集群中,新增 Kafka 也需要 KDC 管理员授权。

填写 KDC 管理员 Principal 和密码后提交,系统会生成并分发 Kafka 相关 keytab。

这里最容易填错的是密码:它不是数据库密码,也不是 Kafka 自己的密码,而是 KDC 管理员密码。

7. 等待 Kafka 安装完成

安装完成页出现 KAFKA,说明 Broker 安装、Kerberos 凭据分发、启动和服务检查已经完成。

安装过程中主要看:

阶段 期望结果
安装包 KAFKA_BROKER 安装完成。
Kerberos Kafka principal / keytab 分发完成。
启动服务 Kafka Broker 启动完成。
Service Check Kafka 服务检查成功。

如果 Broker 启动失败,先看 server.properties 里的监听地址、ZooKeeper 地址和 Kerberos principal。单 Broker 环境还要留意副本数配置不要大于 Broker 数。

8. 回到服务列表确认状态

回到 服务与组件 页面,Kafka 会出现在 查询数据 分类下。

页面里可以看到:

组件 状态
Kafka Broker 运行中

命令行可以做一个版本确认:

sh 复制代码
kafka-topics.sh --version

正常会看到类似结果:

text 复制代码
2.8.1 (Commit:unknown)

到这里,Kafka 的基础安装完成。下一步继续安装 Flink,后面如果要接 Atlas、Ranger Kafka Plugin 或业务 Topic,再单独补权限和 Topic 规划。

相关推荐
星空1 小时前
git指令
大数据·elasticsearch·搜索引擎
李昊哲小课1 小时前
Ubuntu26.04 搭建 Hadoop3.5.0 完全分布式
大数据·hadoop·分布式·ubuntu·hdfs·mapreduce
2601_954971132 小时前
人工智能与大数据专业填报指南:核心区别、职业路径
大数据·人工智能
newbe365244 小时前
我们如何使用 impeccable 优化前端界面设计与实现稳定性
前端·人工智能·分布式·github·aigc·wpf
2501_9475758010 小时前
计算机毕业设计之jsp开山车行二手车交易系统
java·开发语言·hadoop·python·信息可视化·django·课程设计
A153625510 小时前
装配具身机器人品牌推荐 工业装配场景选型指南与艾利特方案
大数据·人工智能·机器人
LLWZAI10 小时前
想要稳定变现,先跨过朱雀 AI 这道门槛
大数据·人工智能
ccimao631611 小时前
散户做财报整理、研报阅读、复盘记录,各类AI工具适配环节梳理
大数据·人工智能
派叔11 小时前
老字号营销服务商技术解构:三类方案的架构逻辑与选型评估
大数据·人工智能·搜索引擎·架构·产品运营·流量运营