kafka连接zookeeper失败导致无法启动

1.背景

Linux服务器磁盘使用率100%导致kafka服务挂掉,推测是别的生产者往kafka服务器不停的塞数据把服务器塞爆了,服务器总空间60g,然后进到服务器查看kafka默认数据存储路径/tmp/kafka_logs就占了37g特别是目标topic,由于这个kafka服务器是我们组内自建的,kafka历史数据不是很重要,所以决定把目标topic删掉释放一些空间。

2.问题

在释放一些服务器空间后,就开始重启zookeeper(kafka解压包自带的zookeeper),然后重启kafka,这时候就报错提示连接zookeeper异常导致无法正常启动kafka服务,后面经过学习发现是我们上面删除分片消息日志不干净导致,因为kafka的消息存储机制,zookeeper会记录topic的partition和offset,所以我们需要手动同步删除/tmp/kafka_logs和/tmp/zookeeper的日志文件。

3.解决

上面我说过这个kafka服务器的背景,所以我们决定干脆把/tmp/kafka_logs和/tmp/zookeeper全部空间释放掉,然后重新启动zookeeper和kafka,kafka能正常启动成功,第三方团队往我们kafka收发数据正常

相关推荐
SlothLu6 小时前
Debezium-BinaryLogClient
java·mysql·kafka·binlog·多线程·debezium·数据迁移
天冬忘忧7 小时前
Kafka 消费者全面解析:原理、消费者 API 与Offset 位移
大数据·kafka
jlting1958 小时前
《智慧教育实时数据分析推荐项目》详细分析
大数据·redis·sql·kafka·database
_Matthew8 小时前
学习Zookeeper
分布式·zookeeper·云原生
运维&陈同学13 小时前
【zookeeper02】消息队列与微服务之zookeeper单机部署
linux·服务器·分布式·微服务·zookeeper·云原生·消息队列·云计算
zmd-zk14 小时前
flink学习(6)——自定义source和kafka
大数据·hadoop·学习·flink·kafka·实时
SlothLu1 天前
Debezium-KafkaDatabaseHistory
数据库·mysql·kafka·多线程·debezium·cdc·数据迁移
糖拌西红柿多放醋1 天前
关于SpringBoot集成Kafka
java·spring boot·kafka
天冬忘忧1 天前
Kafka 分区分配及再平衡策略深度解析与消费者事务和数据积压的简单介绍
分布式·kafka
珍珠是蚌的眼泪1 天前
kafka进阶_2.存储消息
kafka·offset·isr·hw·leo·数据一致性·lso