kafka----初步安装与配置

目录标题

      • ⭐`kafka` 与 `zookeeper`间的关系
      • 一.集群部署
      • 二.修改配置文件
      • 三.分发安装包
      • 四.启动与关闭

kafka 与 zookeeper 相同,是以集群的形式使用

⭐kafka 与 zookeeper间的关系

  • kafka 的使用 要在 zookeeper 集群配置好的基础上 使用
  • 要想启动kafka 要先启动 zookeeper

原因如下

Kafka 启动前需要先启动 ZooKeeper,因为 Kafka 依赖 ZooKeeper 完成以下核心功能:

  1. 集群管理
    ZooKeeper 存储 Kafka 集群的元数据(如 Broker 列表、Topic 配置、分区副本信息),Broker 启动时必须向 ZooKeeper 注册自身信息并同步集群状态
  2. 控制器选举
    Kafka 集群需要选出一个主节点(Controller)来协调分区和副本的故障恢复,ZooKeeper 负责实现这一选举过程
  3. 故障监测
    ZooKeeper 通过临时节点实时监控 Broker 存活状态,一旦 Broker 宕机,立即触发副本切换或重新选举
  4. 配置同步
    动态配置(如 Topic 参数)通过 ZooKeeper 统一管理,确保所有 Broker 配置一致

如果 ZooKeeper 未启动 :

Kafka Broker 无法获取集群信息、无法选举控制器、无法感知其他节点,导致启动失败或集群不可用


注

新版本的kafka(2.8+)支持 独立运行


一.集群部署

  1. 下载安装包
  2. 解压 安装包 至 指定位置
  3. 修改名称为 kafka
  4. 配置 环境变量
shell 复制代码
export KAFKA_HOME = /opt/module/kafka
export PATH = $PATH:$KAFKA_HOME/bin

内容为 kafka 中,bin文件 的位置

  1. 刷新 profile文件 使环境变量 生效
shell 复制代码
source /etc/profile

事后将 环境变量 分发给 集群内 的 其他虚拟机


二.修改配置文件

配置文件名为 server.properties

位于 kafka/config/中

  • 修改内容有三处
  1. 本机 kafka 的编号 (唯一性)
    broker.id=
  2. kafka 日志文件存放的位置
    因为 默认位置 在电脑 关机初始化的文件夹中
    log.dirs= /opt/module/kafka/datas
  3. 连接 zookeeper 集群地址
    (并存储在zookeeper 下的 kafka ,方便管理)
    zookeeper.connect = 虚拟机名:2181,虚拟机名:2181,虚拟机名:2181/kafka

三.分发安装包

shell 复制代码
scp -r 文件名 虚拟机名:位置
  • ⭐切记
    分发后,一定要将 server.properties 内的 kafka编号 更改
    broker.id=
    使编号 不重复 ,且集群内 虚拟机的编号 最好连续(可以为"0")

四.启动与关闭

先进入 到kafka
启动
bin/kafka-server-start.sh start config/server.properties
关闭
bin/kafka-server-stop.sh

相关推荐
goehou1 天前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
ClouGence1 天前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626122 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi2 天前
Kafka消息中间件单机版安装配置
分布式·kafka
飞奔的瓜牛3 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
qq_452396238 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka
我不会起名字32210 天前
消费回调固定 return nil:错误传播与 Kafka 位点提交的区别
后端·mongodb·kafka·go·im·故障排查
qq_4523962310 天前
第十篇:《Kafka 安全加固:SASL、SSL、ACL 与多租户隔离》
安全·kafka·ssl
用户36105886261211 天前
KafkaProducer 元数据管理:send() 卡住时,它在等什么
kafka
空奈qwq11 天前
【Kafka 从入门到实战】从手写一个队列到生产级消息中间件:架构、分区、消费组、零拷贝全解析
分布式·架构·kafka