【Kafka基础】监控与维护:分区健康检查,确保数据高可用

1 基础健康检查命令

1.1 查看未同步副本

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-topics.sh --describe \
    --bootstrap-server 192.168.10.33:9092 \
    --under-replicated-partitions

参数说明

  • --under-replicated-partitions:显示所有副本未完全同步的分区
  • 输出解读:结果会显示哪些分区的副本落后于leader,通常表示网络问题、broker故障或磁盘I/O瓶颈

1.2 检查无Leader分区

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-topics.sh --describe \
    --bootstrap-server 192.168.10.33:9092 \
    --unavailable-partitions

参数说明

  • --unavailable-partitions:显示当前没有活跃leader的分区
  • 严重程度:这种情况会导致客户端无法读写该分区,属于严重故障

2 高级健康检查命令

2.1 查看分区ISR变化历史

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-topics.sh --describe \
    --bootstrap-server 192.168.10.33:9092 \
    --topic your-topic \
    --unavailable-partitions \
    --under-replicated-partitions \
    --verify

参数说明:

  • --verify:显示更详细的分区状态验证信息

2.2 检查分区分布均衡性

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-topics.sh --describe \
    --bootstrap-server 192.168.10.33:9092 \
    | awk '/Partition:/ {print $2,$4}' \
    | sort | uniq -c \
    | sort -nr

2.3 检查消息堆积情况

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-run-class.sh kafka.tools.GetOffsetShell \
    --broker-list 192.168.10.33:9092 \
    --topic testtopic \
    --time -1 \
    | awk -F ":" '{sum += $3} END {print sum}'

3 故障排查标准化流程

3.1 检查Broker状态

复制代码
# 查看broker存活状态
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-broker-api-versions.sh --bootstrap-server 192.168.10.33:9092 

# 检查controller broker 
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/zookeeper-shell.sh 192.168.10.33:2181 get /controller

3.2 验证网络连接

复制代码
# 测试 broker 间连通性
for broker in 192.168.10.33:9092 192.168.10.34:9092 192.168.10.35:9092; do
    echo "Testing $broker..."
    telnet ${broker%:*} ${broker#*:} <<EOF
EOF
done

3.3 查看日志文件

复制代码
# 查看 Kafka 服务日志
tail -n 100 /export/home/kafka_zk/kafka_2.13-2.7.1/logs/server.log | grep -E "ERROR|WARN"

# 查看 controller 日志
grep "Controller" /export/home/kafka_zk/kafka_2.13-2.7.1/logs/controller.log | tail -n 50

3.4 检查系统资源

复制代码
# 检查磁盘空间 
df -h

# 检查磁盘 I/O 
iostat -dx 2 5 

# 检查内存使用 
free -h
相关推荐
一路向北North6 小时前
使用reactor-rabbitmq库监听Rabbitmq
分布式·rabbitmq·ruby
Amy1870211182311 小时前
赋能低压分布式光伏“四可”建设,筑牢电网安全新防线
分布式
June bug15 小时前
【软考中级·软件评测师】下午题·面向对象测试之架构考点全析:分层、分布式、微内核与事件驱动
经验分享·分布式·职场和发展·架构·学习方法·测试·软考
阿波罗.201216 小时前
Zookeeper 客户端 .net访问框架 ZookeeperNetEx项目开发编译
分布式·zookeeper
Bug退退退12317 小时前
RabbitMQ 工作模式
java·分布式·rabbitmq
weixin_4383354017 小时前
分布式锁实现方式:基于Redis的分布式锁实现(Spring Boot + Redis)
数据库·redis·分布式
危险、1 天前
RabbitMQ 通过HTTP API删除队列命令
分布式·http·rabbitmq
周某某~1 天前
windows安装RabbitMQ
分布式·rabbitmq
Bug退退退1231 天前
RabbitMQ 高级特性之消息确认
java·分布式·rabbitmq
一只程序汪1 天前
【如何实现分布式压测中间件】
分布式·中间件