kafka使用以及基于zookeeper集群搭建集群环境

一、环境介绍

zookeeper下载地址:https://zookeeper.apache.org/releases.html

kafka下载地址:https://kafka.apache.org/downloads

192.168.142.129 apache-zookeeper-3.8.4-bin.tar.gz kafka_2.13-3.6.0.tgz

192.168.142.130 apache-zookeeper-3.8.4-bin.tar.gz kafka_2.13-3.6.0.tgz

192.168.142.131 apache-zookeeper-3.8.4-bin.tar.gz kafka_2.13-3.6.0.tgz

二、kafka单机环境使用

1.启动服务

登录后复制

plain 复制代码
单机环境使用kafka自带的zookeeper
tar zxf kafka_2.13-3.6.0.tgz -C /usr/local/
cd /usr/local/kafka_2.13-3.6.0/
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
nohup bin/kafka-server-start.sh config/server.properties &
2.创建topic

登录后复制

plain 复制代码
bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092       
bin/kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092     #查看topic
3.启动消息发送端和消费端

登录后复制

plain 复制代码
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test   #启动消息发送者
>1111
>1234
>qwss
>hello

#重新打开个ssh连接,查看消息消费信息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test    #启动消息消费端
#当发送端发送完结束进程,消费端无法查看之前发送端发送的消息,需要--from-beginning参数
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
#精确查找,指定从第四个以后开始
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092  --partition 0 --offset 4 --topic test

--------------------分组消费-----------------------
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092  --consumer-property group.id=testgroup --topic test 
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092  --consumer-property group.id=testgroup2 --topic test
#相同组如果启动多个消费端,那只有一个消费端能接收到消息,两个组能同时接收不受影响

#查看消费组情况
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group testgroup
4.停止服务

登录后复制

plain 复制代码
cd /usr/local/kafka_2.13-3.6.0/
bin/kafka-server-stop.sh
bin/zookeeper-server-stop.sh

三、kafka集群

1.zookeeper集群部署

登录后复制

plain 复制代码
tar zxf apache-zookeeper-3.8.4-bin.tar.gz -C /usr/local/
cd /usr/local/apache-zookeeper-3.8.4-bin/conf
cp zoo_sample.cfg zoo.cfg
mkdir /usr/local/apache-zookeeper-3.8.4-bin/data
cat zoo.cfg | grep -v '^#'
-----------------------#zookeeper配置集群----------------------------
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/apache-zookeeper-3.8.4-bin/data
clientPort=2181

server.1=192.168.142.129:2888:3888
server.2=192.168.142.130:2888:3888
server.3=192.168.142.131:2888:3888

cd /usr/local/apache-zookeeper-3.8.4-bin/data
echo '1' > myid                        #根据集群server.*这个来决定myid文件里面的值
bin/zkServer.sh --config conf start
2.kafka集群部署

登录后复制

plain 复制代码
tar zxf kafka_2.13-3.6.0.tgz -C /usr/local/
cd /usr/local/kafka_2.13-3.6.0/config
cat server.properties  | grep -v '^#' | grep -v '^$'
---------------------------#kafka集群配置------------------------------
broker.id=0                       #这里129主机是0,130主机是1,131主机是2
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=2
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.142.129:2181,192.168.142.130:2181,192.168.142.131:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0


bin/kafka-server-start.sh -daemon config/server.properties     #-daemon后台启动
3.topic创建

登录后复制

plain 复制代码
#创建和查看topic信息
bin/kafka-topics.sh --bootstrap-server 192.168.142.129:9092 --create  --replication-factor 2 --partitions 4 --topic testTopic
bin/kafka-topics.sh --bootstrap-server 192.168.142.129:9092  --list
bin/kafka-topics.sh --bootstrap-server 192.168.142.129:9092  --describe --topic testTopic

停止130的kafka服务后,leader对应的服务信息改变。

相关推荐
csdn_aspnet15 分钟前
在 Windows 上安装和运行 Apache Kafka
windows·kafka
Code季风2 小时前
深入理解微服务中的服务注册与发现(Consul)
java·运维·微服务·zookeeper·架构·go·consul
LCG元4 小时前
云原生微服务间的异步消息通信:最终一致性与系统容错的架构实战
微服务·云原生·架构
幼稚园的山代王7 小时前
RabbitMQ 4.1.1初体验-队列和交换机
分布式·rabbitmq·ruby
小新学习屋7 小时前
Spark从入门到熟悉(篇三)
大数据·分布式·spark
沉着的码农11 小时前
【设计模式】基于责任链模式的参数校验
java·spring boot·分布式
虚伪的空想家1 天前
rook-ceph配置dashboard代理无法访问
ceph·云原生·k8s·存储·rook
ZHOU_WUYI1 天前
一个简单的分布式追踪系统
分布式
码不停蹄的玄黓1 天前
MySQL分布式ID冲突详解:场景、原因与解决方案
数据库·分布式·mysql·id冲突
王小王-1231 天前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车