安装 Zookeeper 和 Kafka

注意:需要java环境

复制代码
[root@hcss-ecs-2a6a ~]# java -version
java version "17.0.12" 2024-07-16 LTS
Java(TM) SE Runtime Environment (build 17.0.12+8-LTS-286)
Java HotSpot(TM) 64-Bit Server VM (build 17.0.12+8-LTS-286, mixed mode, sharing)
[root@hcss-ecs-2a6a ~]# 

1、 安装 Zookeeper

1.1 下载 Zookeeper

从 Apache 官方网站下载 Zookeeper 的安装包。这里以最新的稳定版本为例。

复制代码
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz

1.2 解压安装包

将下载的安装包解压到一个合适的目录,例如 /opt。

复制代码
sudo tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz -C /opt

1.3 创建软链接

为了方便管理,可以创建一个软链接指向解压后的目录。

复制代码
sudo ln -s /opt/apache-zookeeper-3.7.1-bin /opt/zookeeper

1.4 配置 Zookeeper

编辑 Zookeeper 的配置文件 zoo.cfg。

复制代码
sudo mkdir -p /opt/zookeeper/data
sudo nano /opt/zookeeper/conf/zoo.cfg

在 zoo.cfg 文件中添加以下内容:

复制代码
tickTime=2000
dataDir=/opt/zookeeper/data
clientPort=2181
initLimit=5
syncLimit=2

1.5 启动 Zookeeper

启动 Zookeeper 服务。

复制代码
sudo /opt/zookeeper/bin/zkServer.sh start

验证 Zookeeper 是否启动成功:

复制代码
sudo /opt/zookeeper/bin/zkServer.sh status

2、安装 Kafka

2.1 下载 Kafka

从 Apache 官方网站下载 Kafka 的安装包。这里以最新的稳定版本为例。

复制代码
wget https://archive.apache.org/dist/kafka/3.0.0/kafka_2.13-3.0.0.tgz

2.2 解压安装包

将下载的安装包解压到一个合适的目录,例如 /opt。

复制代码
sudo tar -zxvf kafka_2.13-3.0.0.tgz -C /opt

2.3 创建软链接

为了方便管理,可以创建一个软链接指向解压后的目录。

复制代码
sudo ln -s /opt/kafka_2.13-3.0.0 /opt/kafka

2.4 配置 Kafka

编辑 Kafka 的配置文件 server.properties。

复制代码
sudo nano /opt/kafka/config/server.properties

在 server.properties 文件中进行以下配置:

复制代码
broker.id=0
listeners=PLAINTEXT://:9092
zookeeper.connect=localhost:2181
log.dirs=/opt/kafka/logs

确保 zookeeper.connect 指向你刚刚启动的 Zookeeper 服务。

2.5 创建日志目录

创建 Kafka 的日志目录。

复制代码
sudo mkdir -p /opt/kafka/logs

2.6 启动 Kafka

启动 Kafka 服务。

复制代码
sudo /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties

验证 Kafka 是否启动成功:

复制代码
[root@hcss-ecs-2a6a ~]# /opt/java/jdk-17.0.12/bin/jps
18307 QuorumPeerMain
19848 Kafka
28121 ConsoleConsumer
27627 ConsoleProducer
29996 Jps

你应该能看到 Kafka 进程在运行。

3、测试 Kafka

创建一个测试主题并发送消息。

3.1 创建主题

复制代码
sudo /opt/kafka/bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

3.2 发送消息

复制代码
sudo /opt/kafka/bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092

在打开的终端中输入一些消息,例如:

复制代码
Hello, Kafka!

3.3 消费消息

打开另一个终端,运行消费者来接收消息。

复制代码
sudo /opt/kafka/bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092

你应该能看到之前发送的消息。

html 复制代码
修改配置文件,添加以下内容:

# 允许外部端口连接                                            
listeners=PLAINTEXT://0.0.0.0:9092  
# 外部代理地址                                                
advertised.listeners=PLAINTEXT://1.94.145.26:9092


重启kafka
./kafka-server-stop.sh
     
./kafka-server-start.sh -daemon ../config/server.properties 
     
测试:
curl -X POST http://localhost:8080/api/kafka/publish -H "Content-Type: application/json" -d '"Hello, Kafka!"'
相关推荐
亿牛云爬虫专家31 分钟前
Kubernetes下的分布式采集系统设计与实战:趋势监测失效引发的架构进化
分布式·python·架构·kubernetes·爬虫代理·监测·采集
群联云防护小杜6 小时前
构建分布式高防架构实现业务零中断
前端·网络·分布式·tcp/ip·安全·游戏·架构
爱吃面的猫6 小时前
大数据Hadoop之——Flink1.17.0安装与使用(非常详细)
大数据·hadoop·分布式
上上迁8 小时前
分布式生成 ID 策略的演进和最佳实践,含springBoot 实现(Java版本)
java·spring boot·分布式
长路 ㅤ   8 小时前
Java后端技术博客汇总文档
分布式·算法·技术分享·编程学习·java后端
暗影八度10 小时前
Spark流水线数据质量检查组件
大数据·分布式·spark
CodeWithMe11 小时前
【Note】《Kafka: The Definitive Guide》 第5章:深入 Kafka 内部结构,理解分布式日志系统的核心奥秘
分布式·kafka
CodeWithMe11 小时前
【Note】《Kafka: The Definitive Guide》第一章:Meet Kafka
分布式·kafka
CodeWithMe11 小时前
【Note】《Kafka: The Definitive Guide》 第二章 Installing Kafka:Kafka 安装与运行
分布式·kafka
星图易码14 小时前
能源管理综合平台——分布式能源项目一站式监控
分布式·能源