Kafka-Kafka基本原理与集群快速搭建(实践)

Kafka单机搭建

下载Kafka Apache Download Mirrors

解压

复制代码
 tar -zxvf kafka_2.12-3.4.0.tgz  -C /usr/local/src/software/kafka

kafka内部bin目录下有个内置的zookeeper(用于单机)

启动zookeeper(在后台启动)

复制代码
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

启动kafka(后台启动)

复制代码
nohup bin/kafka-server-start.sh  config/server.properties &

查看创建topic的相关帮助

复制代码
bin/kafka-topics.sh  --help

简单发送消息

创建topic
复制代码
bin/kafka-topics.sh  --create --topic test --bootstrap-server localhost:9092
查看topic信息
复制代码
 bin/kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092
查看生产者的相关命令
复制代码
bin/kafka-console-producer.sh  --help
生产者发送消息(指定topic)
复制代码
bin/kafka-console-producer.sh  --bootstrap-server localhost:9092 --topic test

发送消息

消费者消费实时消息
复制代码
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
查看消费者相关命令
复制代码
bin/kafka-console-consumer.sh --help
消费之前的消息
复制代码
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test
指定从哪里开始消费(partition指的是存储消息的实际队列)

如下:从partition 0 中的偏移量为4的记录开始消费

复制代码
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --partition 0 --offset 4 --topic test
指定消费者组
复制代码
#两个消费者实例属于同一个消费者组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test
#这个消费者实例属于不同的消费者组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup2 --topic test
查看消费者组的消费进度详情
复制代码
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group testGroup

kafka集群搭建

相关推荐
CodeWithMe4 小时前
【Note】《Kafka: The Definitive Guide》 第8章: Cross-Cluster Data Mirroring
分布式·kafka
Alaia.5 小时前
【kafka 3.9.1】单机版集群部署并配置kafka的SASL认证
分布式·kafka
勤奋的知更鸟6 小时前
Kettle + 大数据实战:从数据采集到分布式处理的完整流程指南
大数据·分布式
Kookoos6 小时前
ABP VNext + Cosmos DB Change Feed:搭建实时数据变更流服务
数据库·分布式·后端·abp vnext·azure cosmos
掘金-我是哪吒19 小时前
分布式微服务系统架构第156集:JavaPlus技术文档平台日更-Java线程池使用指南
java·分布式·微服务·云原生·架构
亲爱的非洲野猪20 小时前
Kafka消息积压的多维度解决方案:超越简单扩容的完整策略
java·分布式·中间件·kafka
活跃家族20 小时前
分布式压测
分布式
前端世界21 小时前
HarmonyOS开发实战:鸿蒙分布式生态构建与多设备协同发布全流程详解
分布式·华为·harmonyos
DavidSoCool1 天前
RabbitMQ使用topic Exchange实现微服务分组订阅
分布式·微服务·rabbitmq