kafka下载配置

下载安装

参开kafka社区
zookeeper+kafka消息队列群集部署https://apache.csdn.net/66c958fb10164416336632c3.html

下载

kafka_2.12-3.2.0安装包快速下载地址分享

官网下载链接地址:

官网下载地址:https://kafka.apache.org/downloads

官网呢下载慢,下载这种 Binary downloads 后面对应的源文件,二进制包

可以使用某个镜像资源的链接地址:

某个镜像资源的地址:https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/3.2.0/

仔细观察了一下这个网站,厉害了:清华大学开源软件镜像站

清华大学开源软件镜像站:https://mirrors.tuna.tsinghua.edu.cn/

kafka 默认使用zookeeper 集群管理kafka 集群,确保ZooKeeper实例已经运行,因为Kafka使用ZooKeeper来维护集群状态。如果你没有ZooKeeper实例,可以通过以下命令快速启动一个内置的ZooKeeper实例

复制代码
./bin/zookeeper-server-start.sh config/zookeeper.properties

使用内置的zookeeper时候需要配置。kafka_2.12-3.6.2/config/zookeeper.properties

安装配置

单机配置部署

windows 环境下,在kafka 的配置文件目录下kafka_2.12-3.6.2/config

配置server.pertie文件下

复制代码
broker.id=0
log.dirs=D:\\tools\\kafka_2.12-3.6.2\\kafka-logs
zookeeper.connect=127.0.0.1:2181
num.partitions=1
群集部署kafka
复制代码
主机
kafka1:192.168.10.101
kafka2:192.168.10.102
kafka3:192.168.10.103
[root@kafka1 ~]# vim /etc/hosts
192.168.10.101 kafka1
192.168.10.102 kafka2
192.168.10.103 kafka3
1:zookeeper部署
复制代码
(1)安装zookeeper(三个节点的配置相同)
[root@kafka1 ~]# yum -y install java
[root@kafka1 ~]# tar zxvf apache-zookeeper-3.6.0-bin.tar.gz
[root@kafka1 ~]# mv apache-zookeeper-3.6.0-bin /etc/zookeeper

(2)创建数据保存目录(三个节点的配置相同)
[root@kafka1 ~]# cd /etc/zookeeper/
[root@kafka1 zookeeper]# mkdir zookeeper-data

(3)修改配置文件(三个节点的配置相同)
[root@kafka1 zookeeper]# cd /etc/zookeeper/conf
[root@kafka1 ~]# mv zoo_sample.cfg zoo.cfg
[root@kafka1 ~]# vim zoo.cfg 
dataDir=/etc/zookeeper/zookeeper-data
clientPort=2181
server.1=192.168.10.114:2888:3888
server.2=192.168.10.115:2888:3888
server.3=192.168.10.116:2888:3888
//注释:zookeeper只用的端口
2181:对clinet端提供服务
3888:选举leader使用
2888:集群内机器通讯使用(Leader监听此端口)

(4)创建节点id文件(按server编号设置这个id,三个机器不同)
节点1:
[root@kafka1 conf]# echo '1' > /etc/zookeeper/zookeeper-data/myid
节点2:
[root@kafka2 conf]# echo '2' > /etc/zookeeper/zookeeper-data/myid
节点3:
[root@kafka3 conf]# echo '3' > /etc/zookeeper/zookeeper-data/myid

(5)三个节点启动zookeeper进程
[root@kafka1 conf]# cd /etc/zookeeper/
[root@kafka1 zookeeper]# ./bin/zkServer.sh start
[root@kafka1 zookeeper]# ./bin/zkServer.sh status
2:kafka的部署
复制代码
(1)kafka的安装(三个节点的配置相同)
[root@kafka1 ~]# tar zxvf kafka_2.13-2.4.1.tgz
[root@kafka1 ~]# mv kafka_2.13-2.4.1 /etc/kafka

(2)修改配置文件
[root@kafka1 ~]# cd /etc/kafka/
[root@kafka2 kafka]# vim config/server.properties 
broker.id=1        ##21行  修改,注意其他两个的id分别是2和3
listeners=PLAINTEXT://192.168.10.114:9092        #31行  修改,其他节点改成各自的IP地址
log.dirs=/etc/kafka/kafka-logs        ## 60行  修改
num.partitions=1        ##65行 分片数量,不能超过节点数
zookeeper.connect=192.168.10.114:2181,192.168.10.115:2181,192.168.10.116:2181
//9092是kafka的监听端口
(3)创建日志目录(三个节点的配置相同)
[root@kafka1 kafka]# mkdir /etc/kafka/kafka-logs

(4)在所有kafka节点上执行开启命令,生成kafka群集(三个节点的配置相同)
[root@kafka1 kafka]# ./bin/kafka-server-start.sh config/server.properties & 
如果启动不了,可以将/etc/kafka/kafka-logs中的数据清除再试试

3:测试

复制代码
创建topic(任意一个节点)
bin/kafka-topics.sh --create --zookeeper kafka1:2181 --replication-factor 1 --partitions 1 --topic test

列出topic(任意一个节点)
bin/kafka-topics.sh --list --zookeeper kafka1:2181
bin/kafka-topics.sh --list --zookeeper kafka2:2181
bin/kafka-topics.sh --list --zookeeper kafka3:2181

生产消息
bin/kafka-console-producer.sh --broker-list kafka1:9092 -topic test
消费消息
bin/kafka-console-consumer.sh --bootstrap-server kafka1:9092 --topic test

删除topic
bin/kafka-topics.sh --delete --zookeeper kafka1:2181 --topic test

二 kafka 的相关概念

https://blog.csdn.net/qq_51138261/article/details/119325312

kafka 社区

https://apache.csdn.net/

相关推荐
爱的叹息44 分钟前
主流数据库的存储引擎/存储机制的详细对比分析,涵盖关系型数据库、NoSQL数据库和分布式数据库
数据库·分布式·nosql
程序媛学姐1 小时前
SpringKafka错误处理:重试机制与死信队列
java·开发语言·spring·kafka
千层冷面2 小时前
RabbitMQ 发送者确认机制详解
分布式·rabbitmq·ruby
ChinaRainbowSea2 小时前
3. RabbitMQ 的(Hello World) 和 RabbitMQ 的(Work Queues)工作队列
java·分布式·后端·rabbitmq·ruby·java-rabbitmq
敖正炀2 小时前
基于RocketMQ的可靠消息最终一致性分布式事务解决方案
分布式
一條狗4 小时前
随笔 20250402 分布式 ID 生成器 Snowflake 里面的坑
分布式
小马爱打代码4 小时前
Kubernetes 中部署 Ceph,构建高可用分布式存储服务
分布式·ceph·kubernetes
码熔burning4 小时前
【Spring Cloud Alibaba】:Nacos 入门讲解
分布式·spring cloud·微服务
低头不见17 小时前
一个服务器算分布式吗,分布式需要几个服务器
运维·服务器·分布式
靠近彗星17 小时前
如何检查 HBase Master 是否已完成初始化?| 详细排查指南
大数据·数据库·分布式·hbase