Kafka-Kafka基本原理与集群快速搭建(实践)

Kafka单机搭建

下载Kafka Apache Download Mirrors

解压

复制代码
 tar -zxvf kafka_2.12-3.4.0.tgz  -C /usr/local/src/software/kafka

kafka内部bin目录下有个内置的zookeeper(用于单机)

启动zookeeper(在后台启动)

复制代码
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

启动kafka(后台启动)

复制代码
nohup bin/kafka-server-start.sh  config/server.properties &

查看创建topic的相关帮助

复制代码
bin/kafka-topics.sh  --help

简单发送消息

创建topic
复制代码
bin/kafka-topics.sh  --create --topic test --bootstrap-server localhost:9092
查看topic信息
复制代码
 bin/kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092
查看生产者的相关命令
复制代码
bin/kafka-console-producer.sh  --help
生产者发送消息(指定topic)
复制代码
bin/kafka-console-producer.sh  --bootstrap-server localhost:9092 --topic test

发送消息

消费者消费实时消息
复制代码
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
查看消费者相关命令
复制代码
bin/kafka-console-consumer.sh --help
消费之前的消息
复制代码
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test
指定从哪里开始消费(partition指的是存储消息的实际队列)

如下:从partition 0 中的偏移量为4的记录开始消费

复制代码
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --partition 0 --offset 4 --topic test
指定消费者组
复制代码
#两个消费者实例属于同一个消费者组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test
#这个消费者实例属于不同的消费者组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup2 --topic test
查看消费者组的消费进度详情
复制代码
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group testGroup

kafka集群搭建

相关推荐
zru_96021 小时前
Kafka核心概念深入浅出:消费者组(Consumer Group)机制全解析
kafka
学习中的阿陈4 小时前
Hadoop伪分布式环境配置
大数据·hadoop·分布式
CesareCheung4 小时前
JMeter分布式压力测试
分布式·jmeter·压力测试
thginWalker4 小时前
面试鸭Java八股之Kafka
kafka
失散136 小时前
分布式专题——10.5 ShardingSphere的CosID主键生成框架
java·分布式·架构·分库分表·shadingsphere
winfield8217 小时前
Kafka 线上问题排查完整手册
kafka
Cxzzzzzzzzzz9 小时前
RabbitMQ 在实际开发中的应用场景与实现方案
分布式·rabbitmq
在未来等你10 小时前
Kafka面试精讲 Day 16:生产者性能优化策略
大数据·分布式·面试·kafka·消息队列
王大帅の王同学10 小时前
Thinkphp6接入讯飞星火大模型Spark Lite完全免费的API
大数据·分布式·spark
一氧化二氢.h12 小时前
通俗解释redis高级:redis持久化(RDB持久化、AOF持久化)、redis主从、redis哨兵、redis分片集群
redis·分布式·缓存