kafka连接zookeeper失败导致无法启动

1.背景

Linux服务器磁盘使用率100%导致kafka服务挂掉,推测是别的生产者往kafka服务器不停的塞数据把服务器塞爆了,服务器总空间60g,然后进到服务器查看kafka默认数据存储路径/tmp/kafka_logs就占了37g特别是目标topic,由于这个kafka服务器是我们组内自建的,kafka历史数据不是很重要,所以决定把目标topic删掉释放一些空间。

2.问题

在释放一些服务器空间后,就开始重启zookeeper(kafka解压包自带的zookeeper),然后重启kafka,这时候就报错提示连接zookeeper异常导致无法正常启动kafka服务,后面经过学习发现是我们上面删除分片消息日志不干净导致,因为kafka的消息存储机制,zookeeper会记录topic的partition和offset,所以我们需要手动同步删除/tmp/kafka_logs和/tmp/zookeeper的日志文件。

3.解决

上面我说过这个kafka服务器的背景,所以我们决定干脆把/tmp/kafka_logs和/tmp/zookeeper全部空间释放掉,然后重新启动zookeeper和kafka,kafka能正常启动成功,第三方团队往我们kafka收发数据正常

相关推荐
import_random17 小时前
[kafka]伪集群搭建,各个节点配置文件中listeners参数的配置
kafka
Mr.朱鹏1 天前
SQL深度分页问题案例实战
java·数据库·spring boot·sql·spring·spring cloud·kafka
山沐与山2 天前
【MQ】Kafka与RocketMQ深度对比
分布式·kafka·rocketmq
ssxueyi2 天前
大数据技术之Zookeeper介绍、部署
大数据·zookeeper·debian
yumgpkpm2 天前
Cloudera CDP7、CDH5、CDH6 在华为鲲鹏 ARM 麒麟KylinOS做到无缝切换平缓迁移过程
大数据·arm开发·华为·flink·spark·kafka·cloudera
音符犹如代码2 天前
ZooKeeper 实战指南:从入门到场景解析
分布式·微服务·zookeeper·云原生·中间件·架构
树下水月2 天前
Easyoole 使用rdkafka 进行kafka的创建topic创建 删除 以及数据发布 订阅
分布式·kafka
Cat God 0072 天前
基于Docker搭建kafka集群
docker·容器·kafka
Cat God 0072 天前
基于 Docker 部署 Kafka(KRaft + SASL/PLAIN 认证)
docker·容器·kafka