打印kafka最近的消息

  • 使用 kafka-run-class 指令,获取topic的最小offset和最大offset
    • #查看各个分区的最小offset(这个意思就是,这个offset之前的消息已经被清除了,现在consumer是从这个offset之后开始消费):
bash 复制代码
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topic的名字 --time -2
  • #查看各个分区的最大offset(这个意思就是,producer下一次写入信息时的offset):
bash 复制代码
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topic的名字 --time -1
  • 获取最近N条数据,offset = MaxOffset - N;比如想要获取最近10条数据,根据上一步的命令得到:MaxOffset为3639,那么offset则为:3639 - 2 = 3637
bash 复制代码
 ./kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic xxx  --property print.key=true --partition 0 --offset 3637
  • 查看最近几条的数据
bash 复制代码
  ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic <topic_name> --from-beginning --max-messages <num_messages>
相关推荐
happy_king_zi38 分钟前
RabbitMQ 是否也支持消费组
分布式·rabbitmq
时鲟、时倾2 小时前
docker部署kafka
docker·容器·kafka
兮动人2 小时前
PrettyZoo:优雅易用的 ZooKeeper 可视化管理工具
分布式·zookeeper·云原生·prettyzoo
回家路上绕了弯2 小时前
五分钟内重复登录 QQ 号定位:数据结构选型与高效实现方案
分布式·后端
编啊编程啊程15 小时前
【029】智能停车计费系统
java·数据库·spring boot·spring·spring cloud·kafka
豆浆whisky17 小时前
Go分布式追踪实战:从理论到OpenTelemetry集成|Go语言进阶(15)
开发语言·分布式·golang
乌恩大侠17 小时前
DGX Spark 恢复系统
大数据·分布式·spark
happy_king_zi19 小时前
RabbitMQ Quorum 队列与classic队列关系
分布式·rabbitmq
labview_自动化20 小时前
RabbitMQ
分布式·rabbitmq·labview
歪歪10021 小时前
详细介绍一下“集中同步+分布式入库”方案的具体实现步骤
开发语言·前端·分布式·后端·信息可视化