安装 Zookeeper 和 Kafka

注意:需要java环境

复制代码
[root@hcss-ecs-2a6a ~]# java -version
java version "17.0.12" 2024-07-16 LTS
Java(TM) SE Runtime Environment (build 17.0.12+8-LTS-286)
Java HotSpot(TM) 64-Bit Server VM (build 17.0.12+8-LTS-286, mixed mode, sharing)
[root@hcss-ecs-2a6a ~]# 

1、 安装 Zookeeper

1.1 下载 Zookeeper

从 Apache 官方网站下载 Zookeeper 的安装包。这里以最新的稳定版本为例。

复制代码
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz

1.2 解压安装包

将下载的安装包解压到一个合适的目录,例如 /opt。

复制代码
sudo tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz -C /opt

1.3 创建软链接

为了方便管理,可以创建一个软链接指向解压后的目录。

复制代码
sudo ln -s /opt/apache-zookeeper-3.7.1-bin /opt/zookeeper

1.4 配置 Zookeeper

编辑 Zookeeper 的配置文件 zoo.cfg。

复制代码
sudo mkdir -p /opt/zookeeper/data
sudo nano /opt/zookeeper/conf/zoo.cfg

在 zoo.cfg 文件中添加以下内容:

复制代码
tickTime=2000
dataDir=/opt/zookeeper/data
clientPort=2181
initLimit=5
syncLimit=2

1.5 启动 Zookeeper

启动 Zookeeper 服务。

复制代码
sudo /opt/zookeeper/bin/zkServer.sh start

验证 Zookeeper 是否启动成功:

复制代码
sudo /opt/zookeeper/bin/zkServer.sh status

2、安装 Kafka

2.1 下载 Kafka

从 Apache 官方网站下载 Kafka 的安装包。这里以最新的稳定版本为例。

复制代码
wget https://archive.apache.org/dist/kafka/3.0.0/kafka_2.13-3.0.0.tgz

2.2 解压安装包

将下载的安装包解压到一个合适的目录,例如 /opt。

复制代码
sudo tar -zxvf kafka_2.13-3.0.0.tgz -C /opt

2.3 创建软链接

为了方便管理,可以创建一个软链接指向解压后的目录。

复制代码
sudo ln -s /opt/kafka_2.13-3.0.0 /opt/kafka

2.4 配置 Kafka

编辑 Kafka 的配置文件 server.properties。

复制代码
sudo nano /opt/kafka/config/server.properties

在 server.properties 文件中进行以下配置:

复制代码
broker.id=0
listeners=PLAINTEXT://:9092
zookeeper.connect=localhost:2181
log.dirs=/opt/kafka/logs

确保 zookeeper.connect 指向你刚刚启动的 Zookeeper 服务。

2.5 创建日志目录

创建 Kafka 的日志目录。

复制代码
sudo mkdir -p /opt/kafka/logs

2.6 启动 Kafka

启动 Kafka 服务。

复制代码
sudo /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties

验证 Kafka 是否启动成功:

复制代码
[root@hcss-ecs-2a6a ~]# /opt/java/jdk-17.0.12/bin/jps
18307 QuorumPeerMain
19848 Kafka
28121 ConsoleConsumer
27627 ConsoleProducer
29996 Jps

你应该能看到 Kafka 进程在运行。

3、测试 Kafka

创建一个测试主题并发送消息。

3.1 创建主题

复制代码
sudo /opt/kafka/bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

3.2 发送消息

复制代码
sudo /opt/kafka/bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092

在打开的终端中输入一些消息,例如:

复制代码
Hello, Kafka!

3.3 消费消息

打开另一个终端,运行消费者来接收消息。

复制代码
sudo /opt/kafka/bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092

你应该能看到之前发送的消息。

html 复制代码
修改配置文件,添加以下内容:

# 允许外部端口连接                                            
listeners=PLAINTEXT://0.0.0.0:9092  
# 外部代理地址                                                
advertised.listeners=PLAINTEXT://1.94.145.26:9092


重启kafka
./kafka-server-stop.sh
     
./kafka-server-start.sh -daemon ../config/server.properties 
     
测试:
curl -X POST http://localhost:8080/api/kafka/publish -H "Content-Type: application/json" -d '"Hello, Kafka!"'
相关推荐
涛哥开发笔记13 小时前
Kakfa核心概念和架构
kafka
深圳蔓延科技2 天前
Kafka的高性能之路
后端·kafka
努力的小郑2 天前
从一次分表实践谈起:我们真的需要复杂的分布式ID吗?
分布式·后端·面试
AAA修煤气灶刘哥2 天前
别让Redis「歪脖子」!一次搞定数据倾斜与请求倾斜的捉妖记
redis·分布式·后端
阿里云云原生3 天前
嘉银科技基于阿里云 Kafka Serverless 提升业务弹性能力,节省成本超过 20%
kafka·serverless
Aomnitrix3 天前
知识管理新范式——cpolar+Wiki.js打造企业级分布式知识库
开发语言·javascript·分布式
程序消消乐3 天前
Kafka 入门指南:从 0 到 1 构建你的 Kafka 知识基础入门体系
分布式·kafka
智能化咨询3 天前
Kafka架构:构建高吞吐量分布式消息系统的艺术——进阶优化与行业实践
分布式·架构·kafka
Chasing__Dreams3 天前
kafka--基础知识点--5.2--最多一次、至少一次、精确一次
分布式·kafka