打印kafka最近的消息

  • 使用 kafka-run-class 指令,获取topic的最小offset和最大offset
    • #查看各个分区的最小offset(这个意思就是,这个offset之前的消息已经被清除了,现在consumer是从这个offset之后开始消费):
bash 复制代码
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topic的名字 --time -2
  • #查看各个分区的最大offset(这个意思就是,producer下一次写入信息时的offset):
bash 复制代码
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topic的名字 --time -1
  • 获取最近N条数据,offset = MaxOffset - N;比如想要获取最近10条数据,根据上一步的命令得到:MaxOffset为3639,那么offset则为:3639 - 2 = 3637
bash 复制代码
 ./kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic xxx  --property print.key=true --partition 0 --offset 3637
  • 查看最近几条的数据
bash 复制代码
  ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic <topic_name> --from-beginning --max-messages <num_messages>
相关推荐
自传丶22 分钟前
【开源项目】分布式文本多语言翻译存储平台
分布式
飞火流星020276 小时前
SkyWalking集成Kafka实现日志异步采集经验总结
kafka·skywalking·skywalking日志采集·skywalking异步采集·skywalking配置·kafka数据压缩算法·kafka客户端工具
Dolphin_Home8 小时前
搭建 Hadoop 3.3.6 伪分布式
大数据·hadoop·分布式
姜来可期10 小时前
【分布式数据一致性算法】Gossip协议详解
分布式
begei10 小时前
理解vllm分布式推理服务中的多节点Multi-Node部署方式
分布式
南宫文凯10 小时前
Hadoop-HA(高可用)机制
大数据·hadoop·分布式·hadoop-ha
天天向上杰12 小时前
简识MQ之Kafka、ActiveMQ、RabbitMQ、RocketMQ传递机制
kafka·rabbitmq·rocketmq·activemq
一个假的前端男12 小时前
RabbitMQ 消息队列
分布式·rabbitmq
liruiqiang0512 小时前
DDD - 整洁架构
分布式·微服务·架构
刀客12313 小时前
kafka基本知识
分布式·kafka