阿里云Kafka分区清理

前言

1.业务中kafka默认分区数1000

  1. topic分区建立后,只能新增不能减少

删除无流量topic

1. 通过Prometheus监控,找到无流量分区

kafkaPrometheus监控

经过实践,该流量可能不准;需要二次校验

2.判断该topic订阅情况、消息消费情况

如果没有订阅情况,且没有消息记录

3. 删除该业务

降低测试topic分区数

topic分区数只能增加,不能降低。

在一般情况下,可将原本topic删除重建【2】分区的topic

待实践

相关推荐
空奈qwq10 小时前
【Kafka 从入门到实战】从手写一个队列到生产级消息中间件:架构、分区、消费组、零拷贝全解析
分布式·架构·kafka
无所畏俱的老尹2 天前
Agent 落地为什么需要影子对照:同输入只读双跑、写动作变提案、差异报警,比直接切全量更安全
人工智能·机器学习·云计算·aigc·devops
用户3610588626122 天前
深度拆解 Kafka 源码:Producer 构造器装配了哪些核心组件
kafka
逐流人2 天前
DevOps 入门实战(一):从 CI/CD 概念到 Jenkins 自动构建部署
运维·云原生·云计算·jenkins·devops
SaaS_Product3 天前
OneDrive中的文件批量迁移到Zoho网盘
经验分享·云计算·saas·onedrive
知识搬运临时工3 天前
Kafka 发 1 GiB 数据,用户态 CPU 只花 0.016 秒,总耗时反而慢了 11%
后端·kafka
Zhang2857324 天前
跨境业务选AWS区域避坑指南:美东、美西、新加坡、东京怎么选?
云计算·aws
一条泥憨鱼4 天前
【消息队列】ACK确认了什么:消息队列可靠投递的完整链路
java·后端·kafka·消息队列·rabbitmq
斯普信专业组4 天前
Kafka 消费者 poll() 流程与原理详解
kafka·流程图