Kafka-Kafka基本原理与集群快速搭建(实践)

Kafka单机搭建

下载Kafka Apache Download Mirrors

解压

复制代码
 tar -zxvf kafka_2.12-3.4.0.tgz  -C /usr/local/src/software/kafka

kafka内部bin目录下有个内置的zookeeper(用于单机)

启动zookeeper(在后台启动)

复制代码
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

启动kafka(后台启动)

复制代码
nohup bin/kafka-server-start.sh  config/server.properties &

查看创建topic的相关帮助

复制代码
bin/kafka-topics.sh  --help

简单发送消息

创建topic
复制代码
bin/kafka-topics.sh  --create --topic test --bootstrap-server localhost:9092
查看topic信息
复制代码
 bin/kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092
查看生产者的相关命令
复制代码
bin/kafka-console-producer.sh  --help
生产者发送消息(指定topic)
复制代码
bin/kafka-console-producer.sh  --bootstrap-server localhost:9092 --topic test

发送消息

消费者消费实时消息
复制代码
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
查看消费者相关命令
复制代码
bin/kafka-console-consumer.sh --help
消费之前的消息
复制代码
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test
指定从哪里开始消费(partition指的是存储消息的实际队列)

如下:从partition 0 中的偏移量为4的记录开始消费

复制代码
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --partition 0 --offset 4 --topic test
指定消费者组
复制代码
#两个消费者实例属于同一个消费者组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test
#这个消费者实例属于不同的消费者组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup2 --topic test
查看消费者组的消费进度详情
复制代码
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group testGroup

kafka集群搭建

相关推荐
在未来等你17 小时前
Elasticsearch面试精讲 Day 17:查询性能调优实践
大数据·分布式·elasticsearch·搜索引擎·面试
大数据CLUB20 小时前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发
ajax_beijing1 天前
zookeeper是啥
分布式·zookeeper·云原生
RestCloud1 天前
Kafka实时数据管道:ETL在流式处理中的应用
数据库·kafka·api
AAA修煤气灶刘哥1 天前
Kafka 入门不踩坑!从概念到搭环境,后端 er 看完就能用
大数据·后端·kafka
若鱼19191 天前
spring-kafka消费异常处理
spring·kafka
若鱼19191 天前
Kafka如何配置生产者拦截器和消费者拦截器
java·kafka
虫小宝1 天前
返利app的消息队列架构:基于RabbitMQ的异步通信与解耦实践
分布式·架构·rabbitmq
We....1 天前
Java分布式编程:RMI机制
java·开发语言·分布式
在未来等你1 天前
Elasticsearch面试精讲 Day 18:内存管理与JVM调优
大数据·分布式·elasticsearch·搜索引擎·面试