打印kafka最近的消息

  • 使用 kafka-run-class 指令,获取topic的最小offset和最大offset
    • #查看各个分区的最小offset(这个意思就是,这个offset之前的消息已经被清除了,现在consumer是从这个offset之后开始消费):
bash 复制代码
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topic的名字 --time -2
  • #查看各个分区的最大offset(这个意思就是,producer下一次写入信息时的offset):
bash 复制代码
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topic的名字 --time -1
  • 获取最近N条数据,offset = MaxOffset - N;比如想要获取最近10条数据,根据上一步的命令得到:MaxOffset为3639,那么offset则为:3639 - 2 = 3637
bash 复制代码
 ./kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic xxx  --property print.key=true --partition 0 --offset 3637
  • 查看最近几条的数据
bash 复制代码
  ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic <topic_name> --from-beginning --max-messages <num_messages>
相关推荐
biubiubiu07066 分钟前
Kafka消费者相关
分布式·kafka·linq
yyueshen7 分钟前
RabbitMQ系列(一)架构解析
分布式·架构·rabbitmq
吃海鲜的骆驼7 分钟前
服务异步通讯与RabbitMQ
java·分布式·后端·rabbitmq
junzhen_chen10 分钟前
Kafka可视化工具EFAK(Kafka-eagle)安装部署
分布式·kafka
m0_7482338811 分钟前
RabbitMQ 集群部署方案
分布式·rabbitmq·ruby
深度Linux1 小时前
深入探讨Ceph:分布式存储架构的未来
分布式·ceph·架构·c/c++
后季暖4 小时前
kafka stream对比flink
分布式·flink·kafka
知初~11 小时前
Spark内存并行计算框架
大数据·分布式·spark
信徒_14 小时前
kafka consumer 手动 ack
分布式·kafka·linq
小猫猫猫◍˃ᵕ˂◍16 小时前
miqiu的分布式锁(二):实战——用JMeter验证JVM锁能否解决MySQL超卖问题
jvm·分布式·jmeter