Kafka-Kafka基本原理与集群快速搭建（实践）

Kafka单机搭建

下载Kafka Apache Download Mirrors

解压

 tar -zxvf kafka_2.12-3.4.0.tgz  -C /usr/local/src/software/kafka

kafka内部bin目录下有个内置的zookeeper(用于单机)

启动zookeeper（在后台启动）

nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

启动kafka（后台启动）

nohup bin/kafka-server-start.sh  config/server.properties &

查看创建topic的相关帮助

bin/kafka-topics.sh  --help

简单发送消息

创建topic

bin/kafka-topics.sh  --create --topic test --bootstrap-server localhost:9092

查看topic信息

 bin/kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092

查看生产者的相关命令

bin/kafka-console-producer.sh  --help

生产者发送消息（指定topic）

bin/kafka-console-producer.sh  --bootstrap-server localhost:9092 --topic test

发送消息

消费者消费实时消息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test

查看消费者相关命令

bin/kafka-console-consumer.sh --help

消费之前的消息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test

指定从哪里开始消费（partition指的是存储消息的实际队列）

如下：从partition 0 中的偏移量为4的记录开始消费

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --partition 0 --offset 4 --topic test

指定消费者组

#两个消费者实例属于同一个消费者组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test
#这个消费者实例属于不同的消费者组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup2 --topic test

查看消费者组的消费进度详情

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group testGroup

kafka集群搭建