打印kafka最近的消息

  • 使用 kafka-run-class 指令,获取topic的最小offset和最大offset
    • #查看各个分区的最小offset(这个意思就是,这个offset之前的消息已经被清除了,现在consumer是从这个offset之后开始消费):
bash 复制代码
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topic的名字 --time -2
  • #查看各个分区的最大offset(这个意思就是,producer下一次写入信息时的offset):
bash 复制代码
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topic的名字 --time -1
  • 获取最近N条数据,offset = MaxOffset - N;比如想要获取最近10条数据,根据上一步的命令得到:MaxOffset为3639,那么offset则为:3639 - 2 = 3637
bash 复制代码
 ./kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic xxx  --property print.key=true --partition 0 --offset 3637
  • 查看最近几条的数据
bash 复制代码
  ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic <topic_name> --from-beginning --max-messages <num_messages>
相关推荐
weixin_445476686 小时前
从“用框架”到“控系统”———架构通用能力(模块边界、分层设计、缓存策略、事务一致性、分布式思维)
分布式·缓存·架构
Mr.wangh6 小时前
Redis作为分布式锁
数据库·redis·分布式
小马爱打代码6 小时前
分布式锁:Redisson的公平锁
分布式
Z_z在努力11 小时前
【rabbitmq 高级特性】RabbitMQ 延迟队列全面解析
分布式·rabbitmq
没有bug.的程序员11 小时前
分布式缓存架构:从原理到生产实践
java·分布式·缓存·架构·分布式缓存架构
满满的好奇12 小时前
Mesh网络技术深度解析:从分布式拓扑到复杂场景落地
分布式
会开花的二叉树12 小时前
分布式文件存储 RPC 服务实现
c++·分布式·网络协议·rpc
文艺倾年12 小时前
【八股消消乐】手撕分布式协议和算法(基础篇)
分布式·算法
jc062013 小时前
4.3-中间件之Kafka
分布式·中间件·kafka
2351613 小时前
【并发编程】详解volatile
java·开发语言·jvm·分布式·后端·并发编程·原理