kafka连接zookeeper失败导致无法启动

1.背景

Linux服务器磁盘使用率100%导致kafka服务挂掉,推测是别的生产者往kafka服务器不停的塞数据把服务器塞爆了,服务器总空间60g,然后进到服务器查看kafka默认数据存储路径/tmp/kafka_logs就占了37g特别是目标topic,由于这个kafka服务器是我们组内自建的,kafka历史数据不是很重要,所以决定把目标topic删掉释放一些空间。

2.问题

在释放一些服务器空间后,就开始重启zookeeper(kafka解压包自带的zookeeper),然后重启kafka,这时候就报错提示连接zookeeper异常导致无法正常启动kafka服务,后面经过学习发现是我们上面删除分片消息日志不干净导致,因为kafka的消息存储机制,zookeeper会记录topic的partition和offset,所以我们需要手动同步删除/tmp/kafka_logs和/tmp/zookeeper的日志文件。

3.解决

上面我说过这个kafka服务器的背景,所以我们决定干脆把/tmp/kafka_logs和/tmp/zookeeper全部空间释放掉,然后重新启动zookeeper和kafka,kafka能正常启动成功,第三方团队往我们kafka收发数据正常

相关推荐
重庆大傑6 小时前
Kafka(一)基础介绍
分布式·kafka
你小子在干嘛18 小时前
KafKa学习
学习·kafka
一切如来心秘密21 小时前
流式处理设计模式总结说明
大数据·kafka
ppo_wu1 天前
实例演示kafka stream消息流式处理流程及原理
java·spring boot·分布式·后端·kafka·linq
一切如来心秘密1 天前
Kafka Streams 架构概览
大数据·kafka
喝不完一杯咖啡1 天前
【Kafka】记录一次Kafka消费者重复消费问题
分布式·kafka·重复消费
WB_Leo1 天前
kafka中
分布式·kafka
醉卧沙场丶1 天前
kafka系列之消费后不提交offset情况的分析总结
kafka
lakernote1 天前
如何系列 如何确保 Kafka 消息的顺序性
分布式·kafka
我非夏日2 天前
基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建Kafka大数据运算环境---任务11:基础环境准备
大数据·hadoop·kafka·大数据技术开发