打印kafka最近的消息

  • 使用 kafka-run-class 指令,获取topic的最小offset和最大offset
    • #查看各个分区的最小offset(这个意思就是,这个offset之前的消息已经被清除了,现在consumer是从这个offset之后开始消费):
bash 复制代码
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topic的名字 --time -2
  • #查看各个分区的最大offset(这个意思就是,producer下一次写入信息时的offset):
bash 复制代码
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topic的名字 --time -1
  • 获取最近N条数据,offset = MaxOffset - N;比如想要获取最近10条数据,根据上一步的命令得到:MaxOffset为3639,那么offset则为:3639 - 2 = 3637
bash 复制代码
 ./kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic xxx  --property print.key=true --partition 0 --offset 3637
  • 查看最近几条的数据
bash 复制代码
  ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic <topic_name> --from-beginning --max-messages <num_messages>
相关推荐
有梦想的攻城狮2 小时前
kafka消息在发送时通过压缩算法进行压缩,在Broker是否会进行解压缩
分布式·kafka·压缩·lz4
小萌新大梦想2 小时前
M1安装Kafka
分布式·kafka
AIGCExplore2 小时前
Kafka 安装部署
分布式·kafka
有梦想的攻城狮2 小时前
kafka-client各版本消息格式、协议版本及兼容性问题整理
分布式·kafka·版本
廋到被风吹走2 小时前
【消息队列】Kafka 核心概念深度解析
分布式·kafka
九章-2 小时前
集中式数据库 vs 分布式数据库:2026 最新对比,选哪个更合适?
数据库·分布式·集中式
softshow10262 小时前
Redis 分布式锁必避问题及解决方案
数据库·redis·分布式
小钟不想敲代码2 小时前
RabbitMQ高级
分布式·rabbitmq
Francek Chen2 小时前
【大数据基础】大数据处理架构Hadoop:02 Hadoop生态系统
大数据·hadoop·分布式·hdfs·架构
Thomas21434 小时前
spark view永久保存 + paimon对应的view
大数据·分布式·spark