打印kafka最近的消息

  • 使用 kafka-run-class 指令,获取topic的最小offset和最大offset
    • #查看各个分区的最小offset(这个意思就是,这个offset之前的消息已经被清除了,现在consumer是从这个offset之后开始消费):
bash 复制代码
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topic的名字 --time -2
  • #查看各个分区的最大offset(这个意思就是,producer下一次写入信息时的offset):
bash 复制代码
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topic的名字 --time -1
  • 获取最近N条数据,offset = MaxOffset - N;比如想要获取最近10条数据,根据上一步的命令得到:MaxOffset为3639,那么offset则为:3639 - 2 = 3637
bash 复制代码
 ./kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic xxx  --property print.key=true --partition 0 --offset 3637
  • 查看最近几条的数据
bash 复制代码
  ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic <topic_name> --from-beginning --max-messages <num_messages>
相关推荐
我叫张小白。16 分钟前
基于Redis与FastAPI的分布式共享会话体系
数据库·redis·分布式·缓存·中间件·fastapi·依赖注入
天河归来24 分钟前
国产数据库安全可靠测评产品观察:从集中式、分布式到 HTAP 的发展趋势
数据库·分布式
Devin~Y26 分钟前
大厂Java面试实录:Spring Boot/Cloud、Kafka、Redis、K8s 可观测性 + RAG/Agent(小Y翻车版)
java·spring boot·redis·spring cloud·kafka·kubernetes·mybatis
小碗羊肉44 分钟前
【Redis | 第五篇】分布式锁
数据库·redis·分布式
运维栈记1 小时前
Ceph 入门:一文读懂分布式存储的“瑞士军刀”
分布式·ceph
头歌实践平台1 小时前
HBase 完全分布式安装(新)
数据库·分布式·hbase
水木流年追梦1 小时前
大模型入门-大模型优化方法3
人工智能·分布式·python·深度学习·机器学习
是狐狸吖1 小时前
Redis分布式锁进阶第十六篇
数据库·redis·分布式
西安邮电大学2 小时前
Kafka如何避免重复消费
java·后端·其他·面试·kafka
2603_954708312 小时前
微电网分布式电源接入技术的相关国家标准有哪些?
人工智能·分布式·物联网·架构·系统架构·能源