【kafka-01数据保留时间设置】

kafka正确设置过期时间

背景

某天突然发现我的kafka中group_id消费记录不见了,特地查了下咋回事。众所周知新版本的kafka group_id消费的offset记录已经不存储在zookeeper上了,而是存储在__consumer_offsets 这个kafka内部自己管理的topic中,这个topic有50个分区。 毫无疑问估计是group_id offset存储也应该是有时间过期值的,于是专门查了查。

如何正确配置数据过期时间

需要两个参数结合,且最好配置的时间是一样的,下面是例子

java 复制代码
#存储一年
log.retention.hours=8760   ->数据过期时间
offsets.retention.minutes=525600 ->group_id offset的消费位点过期时间。 换算成小时也是一年
相关推荐
鸿蒙先行者1 小时前
鸿蒙分布式能力调用失败解决方案及案例
分布式·harmonyos
yourkin6662 小时前
RocketMQ 分布式事务方案
分布式·rocketmq
lifallen11 小时前
Hadoop MapReduce 任务/输入数据 分片 InputSplit 解析
大数据·数据结构·hadoop·分布式·算法
Hello.Reader16 小时前
Kafka 4.0 从零到一8 步快速上手 + 实战要点与避坑
分布式·kafka
一叶飘零_sweeeet17 小时前
在分布式环境下正确使用MyBatis二级缓存
java·分布式·mybatis
neoooo20 小时前
Spring Boot 3 + Kafka 实战指南
java·spring boot·kafka
设计师小聂!1 天前
RabbitMQ详解
java·spring boot·分布式·rabbitmq·maven
武子康1 天前
大数据-79 Kafka 监控从入门到实战:度量体系、JMX采集与可视化告警全流程 Prometheus、Kafka Eagle
大数据·后端·kafka
退役小学生呀1 天前
十九、云原生分布式存储 CubeFS
分布式·docker·云原生·容器·kubernetes·k8s
smileNicky1 天前
Kafka 为什么具有高吞吐量的特性?
分布式·kafka