kafka连接zookeeper失败导致无法启动

1.背景

Linux服务器磁盘使用率100%导致kafka服务挂掉,推测是别的生产者往kafka服务器不停的塞数据把服务器塞爆了,服务器总空间60g,然后进到服务器查看kafka默认数据存储路径/tmp/kafka_logs就占了37g特别是目标topic,由于这个kafka服务器是我们组内自建的,kafka历史数据不是很重要,所以决定把目标topic删掉释放一些空间。

2.问题

在释放一些服务器空间后,就开始重启zookeeper(kafka解压包自带的zookeeper),然后重启kafka,这时候就报错提示连接zookeeper异常导致无法正常启动kafka服务,后面经过学习发现是我们上面删除分片消息日志不干净导致,因为kafka的消息存储机制,zookeeper会记录topic的partition和offset,所以我们需要手动同步删除/tmp/kafka_logs和/tmp/zookeeper的日志文件。

3.解决

上面我说过这个kafka服务器的背景,所以我们决定干脆把/tmp/kafka_logs和/tmp/zookeeper全部空间释放掉,然后重新启动zookeeper和kafka,kafka能正常启动成功,第三方团队往我们kafka收发数据正常

相关推荐
Jackyzhe20 分钟前
从零学习Kafka:ZooKeeper vs KRaft
学习·zookeeper·kafka
工作log1 小时前
从零搭建 ELK + Kafka 日志收集系统(Spring Boot + Logback 直连 Kafka)
spring boot·elk·kafka
QC·Rex2 小时前
消息队列架构设计 - Kafka/RocketMQ/RabbitMQ 深度对比与实战
kafka·rabbitmq·rocketmq
是垚不是土2 小时前
Kafka 故障排查周期长?试试 Kdoctor
linux·运维·分布式·ai·kafka·运维开发
小江的记录本5 小时前
【分布式】分布式核心组件——分布式锁:Redis/ZooKeeper/etcd 实现方案(附全方位对比表)、优缺点、Redlock、时钟回拨问题
java·网络·redis·分布式·后端·zookeeper·架构
面向Google编程12 小时前
从零学习Kafka:ZooKeeper vs KRaft
大数据·kafka
Jackeyzhe12 小时前
从零学习Kafka:ZooKeeper vs KRaft
kafka
红星照耀华夏1 天前
分布式锁深度解构:从 Redis 到 ZooKeeper,一场正确性与性能的博弈
redis·zookeeper·etcd·分布式锁
Ulyanov2 天前
Apache Kafka在雷达仿真数据流处理中的应用
分布式·python·kafka·apache·雷达电子战