66关于kafka:consumer_offsets日志不能自动清理,设置自动清理规则

关于kafka:consumer_offsets日志不能自动清理,设置自动清理规则

起因

Kafka服务器在运行一段时间后,存储空间耗尽了。剖析Kafka的占用空间状况,发现Kafka主动生成的"__consumer_offset"topic,占用了大量空间,它用于记录每个用户topic的生产偏移量。这一topic实用的清理规定与其余topic不同,某些状况下,它可能始终得不到清理,耗尽服务器资源。

新版kafka

1.查看对应策略

复制代码
./kafka-configs.sh --bootstrap-server 127.0.0.1:9092 --entity-type topics --entity-name __consumer_offsets --describe

2.修改策略

复制代码
./kafka-configs.sh --bootstrap-server 127.0.0.1:9092 --entity-type topics --entity-name __consumer_offsets --alter --add-config 'cleanup.policy=delete'

3.检查策略是否生效

复制代码
./kafka-configs.sh --bootstrap-server 127.0.0.1:9092 --entity-type topics --entity-name __consumer_offsets --describe

策略修改后,无需重启应用,配置等几分钟就生效自动会删除过期文件。

老版kafka需要将命令中的:

--bootstrap-server 127.0.0.1:9092替换成--zookeeper zk3:2181即可。

相关推荐
没有bug.的程序员3 小时前
ShardingSphere 与分库分表:分布式数据库中间件实战指南
java·数据库·分布式·中间件·分布式数据库·shardingsphere·分库分表
dalianwawatou3 小时前
kafka-日志收集平台部署项目
分布式·kafka
鹧鸪云光伏5 小时前
分布式光伏阴影轨迹模拟
分布式·信息可视化·光伏·光伏计算
失散1314 小时前
分布式专题——23 Kafka日志索引详解
java·分布式·云原生·架构·kafka
程序消消乐14 小时前
深入理解Kafka的复制协议与可靠性保证
分布式·kafka
荣光波比15 小时前
ZooKeeper与Kafka分布式协调系统实战指南:从基础原理到集群部署
运维·分布式·zookeeper·kafka·云计算
weixin_4365250720 小时前
芋道源码 - RabbitMQ + WebSocket 实现分布式消息推送
分布式·websocket·rabbitmq
飞鱼&20 小时前
RabbitMQ-消息堆积
分布式·rabbitmq
李小枫20 小时前
在linux上安装kafka,并使用kafka-clients实现消费者
linux·kafka·linq
zcyf080920 小时前
rabbitmq分布式事务
java·spring boot·分布式·rabbitmq