kafka连接zookeeper失败导致无法启动

1.背景

Linux服务器磁盘使用率100%导致kafka服务挂掉,推测是别的生产者往kafka服务器不停的塞数据把服务器塞爆了,服务器总空间60g,然后进到服务器查看kafka默认数据存储路径/tmp/kafka_logs就占了37g特别是目标topic,由于这个kafka服务器是我们组内自建的,kafka历史数据不是很重要,所以决定把目标topic删掉释放一些空间。

2.问题

在释放一些服务器空间后,就开始重启zookeeper(kafka解压包自带的zookeeper),然后重启kafka,这时候就报错提示连接zookeeper异常导致无法正常启动kafka服务,后面经过学习发现是我们上面删除分片消息日志不干净导致,因为kafka的消息存储机制,zookeeper会记录topic的partition和offset,所以我们需要手动同步删除/tmp/kafka_logs和/tmp/zookeeper的日志文件。

3.解决

上面我说过这个kafka服务器的背景,所以我们决定干脆把/tmp/kafka_logs和/tmp/zookeeper全部空间释放掉,然后重新启动zookeeper和kafka,kafka能正常启动成功,第三方团队往我们kafka收发数据正常

相关推荐
列星随旋19 小时前
Kafka基础篇
分布式·kafka
Jackyzhe20 小时前
从零学习Kafka:生产者压缩
分布式·学习·kafka
一只普通的码农20 小时前
kafka在windows环境部署
分布式·kafka
bqq1986102621 小时前
Kafka高效的原因
缓存·kafka
Kiyra21 小时前
异步任务不用 Kafka 也行:用 Redis Stream 搭一套轻量级 Producer/Consumer 框架
数据库·人工智能·redis·分布式·后端·缓存·kafka
面向Google编程1 天前
从零学习Kafka:幂等与事务
大数据·kafka
Jackeyzhe1 天前
从零学习Kafka:幂等与事务
kafka
倒流时光三十年1 天前
第6篇 Consumer 精讲(上):Offset 提交与幂等消费
spring boot·kafka
Devin~Y1 天前
大厂 Java 面试实录:Spring Boot/Cloud、Kafka、Redis、JVM、K8s、RAG 一条龙(小Y翻车版)
java·jvm·spring boot·redis·spring cloud·kafka·kubernetes
霑潇雨1 天前
原生 Zookeeper 实现分布式锁案例
java·分布式·zookeeper·云原生·maven