kafka3.8集群搭建

kafka集群需要三台机器搭建,并使用内置zookeeper

IP
10.0.0.1
10.0.0.2
10.0.0.3

安装jdk

bash 复制代码
# ubuntu
sudo apt install -y openjdk-8-jdk-headless
# centos
sudo yum install -y java-1.8.0-openjdk

下载kafka

bash 复制代码
wget  https://archive.apache.org/dist/kafka/3.8.1/kafka_2.13-3.8.1.tgz 
# 创建目录
mkdir /data/kafka/logs -p
mkdir /data/kafka/zookeeper_data -p
tar -xvf  kafka_2.13-3.8.1.tgz -C /data/kafka

修改zookeeper配置文件

vim /data/kafka/kafka_2.13-3.8.1/config/zookeeper.properties

zookeeper myid 集群内不能重复的,每台机器设置成不一样的。

echo 1 > /data/zookeeper/myid

yaml 复制代码
dataDir=/data/kafka/zookeeper
# the port at which the clients will connect
clientPort=2181
# disable the per-ip limit on the number of connections since this is a non-production config
maxClientCnxns=0
# Disable the adminserver by default to avoid port conflicts.
# Set the port to something non-conflicting if choosing to enable this
admin.enableServer=false
# admin.serverPort=8080

tickTime=2000
initLimit=5
syncLimit=2
server.1=10.0.0.1:2888:3888
server.2=10.0.0.2:2888:3888
server.3=10.0.0.3:2888:3888

修改kafka配置文件

vim /data/kafka/kafka_2.13-3.8.1/config/server.properties

broker.id 每个节点需要不一样

yaml 复制代码
broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/logs
num.partitions=3
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=24
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=10.0.0.1:2181,10.0.0.2:2181,10.0.0.3:2181

zookeeper.connection.timeout.ms=60000
group.initial.rebalance.delay.ms=0
auto.create.topics.enable = true

分别启动zookeeper和kafka

bash 复制代码
/data/kafka/kafka_2.13-3.8.1/bin/zookeeper-server-start.sh -daemon /data/kafka/kafka_2.13-3.8.1/config/zookeeper.properties && /data/kafka/kafka_2.13-3.8.1/bin/kafka-server-start.sh -daemon /data/kafka/kafka_2.13-3.8.1/config/server.properties

也可以通过配置service启动

先启动zookeeper在启动kafka

vim /etc/systemd/system/zookeeper.service

bash 复制代码
[Unit]
Description=Zookeeper service
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=/data/kafka/kafka_2.13-3.8.1/bin/zookeeper-server-start.sh /data/kafka/kafka_2.13-3.8.1/config/zookeeper.properties
ExecStop=/data/kafka/kafka_2.13-3.8.1/bin/zookeeper-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target
bash 复制代码
vim /etc/systemd/system/kafka.service
[Unit]
Description=Apache Kafka server (broker)
After=network.target zookeeper.service

[Service]
Type=simple
User=root
Group=root
ExecStart=/data/kafka/kafka_2.13-3.8.1/bin/kafka-server-start.sh /data/kafka/kafka_2.13-3.8.1/config/server.properties
ExecStop=/data/kafka/kafka_2.13-3.8.1/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

测试kafka

bash 复制代码
cd /data/kafka/kafka_2.13-3.8.1

# 创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testtopic

# 查看topic list
bin/kafka-topics.sh --zookeeper localhost:2181 --list

# 控制台生产消息
bin/kafka-console-producer.sh --bootstrap-server 10.0.0.2:9092 --topic testtopic

# 控制台消费消息
bin/kafka-console-consumer.sh --bootstrap-server 10.0.0.3:9092 --topic testtopic --from-beginning
相关推荐
qq_452396235 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka
我不会起名字3226 天前
消费回调固定 return nil:错误传播与 Kafka 位点提交的区别
后端·mongodb·kafka·go·im·故障排查
qq_452396237 天前
第十篇:《Kafka 安全加固:SASL、SSL、ACL 与多租户隔离》
安全·kafka·ssl
用户3610588626127 天前
KafkaProducer 元数据管理:send() 卡住时,它在等什么
kafka
空奈qwq8 天前
【Kafka 从入门到实战】从手写一个队列到生产级消息中间件:架构、分区、消费组、零拷贝全解析
分布式·架构·kafka
用户3610588626129 天前
深度拆解 Kafka 源码:Producer 构造器装配了哪些核心组件
kafka
知识搬运临时工10 天前
Kafka 发 1 GiB 数据,用户态 CPU 只花 0.016 秒,总耗时反而慢了 11%
后端·kafka
一条泥憨鱼11 天前
【消息队列】ACK确认了什么:消息队列可靠投递的完整链路
java·后端·kafka·消息队列·rabbitmq
斯普信专业组11 天前
Kafka 消费者 poll() 流程与原理详解
kafka·流程图