kafka连接zookeeper失败导致无法启动

1.背景

Linux服务器磁盘使用率100%导致kafka服务挂掉,推测是别的生产者往kafka服务器不停的塞数据把服务器塞爆了,服务器总空间60g,然后进到服务器查看kafka默认数据存储路径/tmp/kafka_logs就占了37g特别是目标topic,由于这个kafka服务器是我们组内自建的,kafka历史数据不是很重要,所以决定把目标topic删掉释放一些空间。

2.问题

在释放一些服务器空间后,就开始重启zookeeper(kafka解压包自带的zookeeper),然后重启kafka,这时候就报错提示连接zookeeper异常导致无法正常启动kafka服务,后面经过学习发现是我们上面删除分片消息日志不干净导致,因为kafka的消息存储机制,zookeeper会记录topic的partition和offset,所以我们需要手动同步删除/tmp/kafka_logs和/tmp/zookeeper的日志文件。

3.解决

上面我说过这个kafka服务器的背景,所以我们决定干脆把/tmp/kafka_logs和/tmp/zookeeper全部空间释放掉,然后重新启动zookeeper和kafka,kafka能正常启动成功,第三方团队往我们kafka收发数据正常

相关推荐
Q***f63533 分钟前
后端消息队列学习资源,RabbitMQ+Kafka
学习·kafka·rabbitmq
Bohemian—Rhapsody2 小时前
kafka主题(topic)数据保留时间设置
分布式·kafka
hongweihao6 小时前
Kafka 消息积压了,同事跑路了
后端·spring cloud·kafka
源码梦想家7 小时前
容器化微服务环境下API网关优化实践——提升系统安全性与请求处理效率
zookeeper
Violet_YSWY9 小时前
bitnami/kafka环境变量讲解
分布式·kafka
无心水9 小时前
【分布式利器:Kafka】Kafka基本原理详解:架构、流转机制与高吞吐核心(附实战配置)
分布式·架构·kafka·partition·零拷贝·broker·分布式流处理平台
while(努力):进步10 小时前
探索未来的技术变革:如何通过云计算与人工智能重塑数字化世界
zookeeper·spark
千百元11 小时前
kafka验证消息时报错
分布式·kafka
c***V32312 小时前
后端消息队列选型:RabbitMQ与Kafka
分布式·kafka·rabbitmq
9***Y4813 小时前
后端消息队列监控工具,Kafka Eagle
分布式·kafka