66关于kafka:consumer_offsets日志不能自动清理,设置自动清理规则

关于kafka:consumer_offsets日志不能自动清理,设置自动清理规则

起因

Kafka服务器在运行一段时间后,存储空间耗尽了。剖析Kafka的占用空间状况,发现Kafka主动生成的"__consumer_offset"topic,占用了大量空间,它用于记录每个用户topic的生产偏移量。这一topic实用的清理规定与其余topic不同,某些状况下,它可能始终得不到清理,耗尽服务器资源。

新版kafka

1.查看对应策略

复制代码
./kafka-configs.sh --bootstrap-server 127.0.0.1:9092 --entity-type topics --entity-name __consumer_offsets --describe

2.修改策略

复制代码
./kafka-configs.sh --bootstrap-server 127.0.0.1:9092 --entity-type topics --entity-name __consumer_offsets --alter --add-config 'cleanup.policy=delete'

3.检查策略是否生效

复制代码
./kafka-configs.sh --bootstrap-server 127.0.0.1:9092 --entity-type topics --entity-name __consumer_offsets --describe

策略修改后,无需重启应用,配置等几分钟就生效自动会删除过期文件。

老版kafka需要将命令中的:

--bootstrap-server 127.0.0.1:9092替换成--zookeeper zk3:2181即可。

相关推荐
一叶飘零_sweeeet7 小时前
SpringBoot 整合 Kafka 的实战指南
java·spring boot·kafka
在未来等你8 小时前
Kafka面试精讲 Day 3:Producer生产者原理与配置
大数据·分布式·面试·kafka·消息队列
叫我阿柒啊8 小时前
从全栈开发到微服务架构:一位Java工程师的实战经验分享
java·ci/cd·kafka·mybatis·vue3·springboot·fullstack
天翼云开发者社区8 小时前
Kafka配置SASL_SSL认证传输加密
kafka
Hello.Reader8 小时前
Kafka 分层存储(Tiered Storage)从 0 到 1 的配置、调优与避坑
分布式·kafka
bjzw8 小时前
Kafka常见问题及解决方案
分布式·kafka
小白学大数据10 小时前
分布式爬虫的全局请求间隔协调与IP轮换策略
分布式·爬虫·tcp/ip
半桶水专家10 小时前
Kafka 架构详解
分布式·架构·kafka
shinelord明10 小时前
【大数据技术实战】Flink+DS+Dinky 自动化构建数仓平台
大数据·运维·分布式·架构·flink·自动化