如何安装部署kafka

安装和部署Apache Kafka需要以下几个步骤,包括下载 Kafka、配置 ZooKeeper(或者使用 Kafka 自带的 Kafka Raft 模式替代 ZooKeeper),以及启动 Kafka 服务。以下是一个但基于 Linux 的典型安装流程,可以根据需要改装到其他操作系统。

1.安装的。

保证您的系统安装了以下依赖:

  • Java(Kafka依赖于Java运行环境,推荐JDK 8及以上版本)
bash 复制代码
# 检查 Java 版本
java -version

# 如果没有安装 Java,可以通过以下命令安装(适用于 Ubuntu/Debian 系统)
sudo apt update
sudo apt install default-jdk -y

2.下载并解压Kafka

  1. 访问Kafka官方下载页面选择最新的稳定版本,下载二进制包(一般使用Scala版本的Kafka)。也可以使用命令行直接下载:
bash 复制代码
# 下载 Kafka(以 Kafka 3.0.0 为例,Scala 2.13)
wget https://downloads.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz

# 解压 Kafka 压缩包
tar -xzf kafka_2.13-3.0.0.tgz

# 进入 Kafka 目录
cd kafka_2.13-3.0.0

3.配置ZooKeeper

在传统的 Kafka 部署中,Kafka 依赖ZooKeeper来管理集群的元数据。如果使用的是传统的 Kafka 版本,仍需安装并运行 ZooKeeper。

注意:自 Kafka 2.8 开始,Kafka 引入了 Raft 模式,可以添加 ZooKeeper。

  • 安装ZooKeeper(如果选择不使用Raft模式)

Kafka自带了一个基础的ZooKeeper配置文件,可以直接使用。

bash 复制代码
# 启动 ZooKeeper 服务(默认配置)
bin/zookeeper-server-start.sh config/zookeeper.properties

ZooKeeper默认会在2181端口上运行。

4.启动Kafka Broker

  1. Kafka的配置文件在config/server.properties中。
  2. 使用默认配置启动Kafka Broker:
bash 复制代码
# 启动 Kafka broker
bin/kafka-server-start.sh config/server.properties

默认情况下,Kafka Broker 会在9092端口上运行。

5.测试Kafka

Kafka自带了生产者和消费者的命令行工具,下面我们通过这些工具来验证 Kafka 的工作状态。

1.创建 Kafka 主题

Kafka 使用"主题"来组织消息,首先需要创建一个主题:

bash 复制代码
# 创建名为 test 的主题(默认副本数为1,分区数为1)
bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

列出集群中的所有主题:

bash 复制代码
bin/kafka-topics.sh --list --bootstrap-server localhost:9092
2.生产消息

使用 Kafka 提供的命令行生产者工具向test主题发送消息:

bash 复制代码
# 启动生产者,向 test 主题发送消息
bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

输入一些消息,每条消息按行输入,按回车键后发送。

3.消费消息

使用 Kafka 的消费者工具读取test主题中的消息:

bash 复制代码
# 启动消费者,读取 test 主题的消息
bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

消费者分区头读取所有消息,并在控制台输出。

6. Kafka 配置文件说明

Kafka 的主配置文件为config/server.properties,其中包含了 Kafka 运行时的各种参数。常用的配置项包括:

  • broker.id: 唯一标识 Kafka Broker 的 ID,在多集群集群中,每个 Broker 的 ID 都应该是唯一的。
  • listeners:Kafka Broker 监听的地址和端口,默认是localhost:9092
  • log.dirs: Kafka存储日志(即消息)的目录,默认为/tmp/kafka-logs
  • zookeeper.connect: ZooKeeper 连接字符串(在使用 ZooKeeper 模式时)。

7.关闭Kafka和ZooKeeper

完成测试后,可以关闭Kafka和ZooKeeper服务。

bash 复制代码
# 停止 Kafka 服务
bin/kafka-server-stop.sh

# 停止 ZooKeeper 服务
bin/zookeeper-server-stop.sh

8.部署多集群资源

在生产环境中,通常会部署 Kafka 的多集群集群。这涉及到:

  • 修改每个brokerbroker.id,确保唯一。
  • 修改listeners参数,确保每个经纪人都有唯一的IP地址和端口。
  • 增加 ZooKeeper 的高可用配置(或者使用 Kafka Raft 模式)。

Kafka集群部署需要配置多台服务器,将多个broker连接到相同的ZooKeeper集群。

相关推荐
WX187021128735 小时前
在分布式光伏电站如何进行电能质量的治理?
分布式
Stringzhua5 小时前
【SpringCloud】Kafka消息中间件
spring·spring cloud·kafka
不能再留遗憾了8 小时前
RabbitMQ 高级特性——消息分发
分布式·rabbitmq·ruby
茶馆大橘8 小时前
微服务系列六:分布式事务与seata
分布式·docker·微服务·nacos·seata·springcloud
材料苦逼不会梦到计算机白富美11 小时前
golang分布式缓存项目 Day 1
分布式·缓存·golang
想进大厂的小王11 小时前
项目架构介绍以及Spring cloud、redis、mq 等组件的基本认识
redis·分布式·后端·spring cloud·微服务·架构
Java 第一深情11 小时前
高性能分布式缓存Redis-数据管理与性能提升之道
redis·分布式·缓存
杨荧12 小时前
【JAVA毕业设计】基于Vue和SpringBoot的服装商城系统学科竞赛管理系统
java·开发语言·vue.js·spring boot·spring cloud·java-ee·kafka
ZHOU西口12 小时前
微服务实战系列之玩转Docker(十八)
分布式·docker·云原生·架构·数据安全·etcd·rbac
zmd-zk13 小时前
kafka+zookeeper的搭建
大数据·分布式·zookeeper·中间件·kafka