打印kafka最近的消息

  • 使用 kafka-run-class 指令,获取topic的最小offset和最大offset
    • #查看各个分区的最小offset(这个意思就是,这个offset之前的消息已经被清除了,现在consumer是从这个offset之后开始消费):
bash 复制代码
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topic的名字 --time -2
  • #查看各个分区的最大offset(这个意思就是,producer下一次写入信息时的offset):
bash 复制代码
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topic的名字 --time -1
  • 获取最近N条数据,offset = MaxOffset - N;比如想要获取最近10条数据,根据上一步的命令得到:MaxOffset为3639,那么offset则为:3639 - 2 = 3637
bash 复制代码
 ./kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic xxx  --property print.key=true --partition 0 --offset 3637
  • 查看最近几条的数据
bash 复制代码
  ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic <topic_name> --from-beginning --max-messages <num_messages>
相关推荐
YDS82911 分钟前
黑马点评 —— 分布式锁详解加源码剖析
java·spring boot·redis·分布式
hashiqimiya26 分钟前
windows的hadoop集群环境直接配
大数据·hadoop·分布式
guoji77886 小时前
ChatGPT镜像站实战:从零设计高可用分布式任务调度系统
分布式·chatgpt
半桶水专家8 小时前
Kafka 4.0.1 KRaft 模式完整部署指南
分布式·kafka·linq
Arthas2179 小时前
互联网大厂Java面试实录:谢飞机的电商微服务之旅 - Spring Boot/Cloud/Redis/Kafka实战
spring boot·redis·spring cloud·微服务·kafka·java面试·电商
huohuopro13 小时前
HBase 伪分布式环境安装指南
数据库·分布式·hbase
程序员阿伦13 小时前
谢飞机面Java大厂:音视频场景下的Spring Boot + Kafka + Redis实战三连问
spring boot·redis·kafka·java面试·音视频架构·微服务容错
一只大袋鼠13 小时前
高并发系统架构优化(下):突破带宽瓶颈,迈向分布式集群
分布式·系统架构
路小雨~13 小时前
RabbitMQ 全面学习资料
分布式·学习·rabbitmq