Kafka单机搭建
下载Kafka Apache Download Mirrors
解压
tar -zxvf kafka_2.12-3.4.0.tgz -C /usr/local/src/software/kafka
kafka内部bin目录下有个内置的zookeeper(用于单机)
启动zookeeper（在后台启动）
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
启动kafka（后台启动）
nohup bin/kafka-server-start.sh config/server.properties &
查看创建topic的相关帮助
bin/kafka-topics.sh --help
简单发送消息
创建topic
bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092
查看topic信息
bin/kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092
查看生产者的相关命令
bin/kafka-console-producer.sh --help
生产者发送消息（指定topic）
bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test
发送消息
消费者消费实时消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
查看消费者相关命令
bin/kafka-console-consumer.sh --help
消费之前的消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test
指定从哪里开始消费（partition指的是存储消息的实际队列）
如下：从partition 0 中的偏移量为4的记录开始消费
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --partition 0 --offset 4 --topic test
指定消费者组
#两个消费者实例属于同一个消费者组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test
#这个消费者实例属于不同的消费者组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup2 --topic test
查看消费者组的消费进度详情
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group testGroup