Shell控监Kafka积压

1、获取Kafka消息堆积情况

vi check-kafka-lag.sh

powershell 复制代码
#!/bin/bash

TOPIC="total_random"
GROUP_ID="etl-dw"
BOOTSTRAP_SERVER="node-01:9092,node-02:9092,node-03:9092"

# 检查第一个参数是否为数字
if ! [[ $1 =~ ^[0-9]+$ ]]; then
    echo "错误: 传入参数必须是数字" >&2
    exit 1
fi

# 获取LAG信息
LAG_INFO=`sh /data/app/kafka/bin/kafka-consumer-groups.sh --bootstrap-server $BOOTSTRAP_SERVER --group $GROUP_ID --describe | grep $TOPIC | awk -F " " '{print $6}'`

# 初始化LAG总和为0
total_lag=0

for lag in ${$LAG_INFO[@]};
do
  total_lag=$(($total_lag + $lag))
done

# 判断消息积压情况,是否重启程序
if [ $total_lag -gt $1 ]; then 
  echo "$(date +"%Y-%m-%d %H:%M:%S") Kafka Topic " $TOPIC " IN GROUP " $GROUP_ID " 消息堆积总量为:" $total_lag " 大于 " $1 ",停止DW模块"
  sh ./stop-dwkudu.sh
  
  # 判断是否执行成功
  if [ $? -eq 0 ]; then 
    sh ./start-dwkudu.sh
	echo "$(date +"%Y-%m-%d %H:%M:%S") 启动DW模块完成"
  else
    echo "$(date +"%Y-%m-%d %H:%M:%S") 停止DW模块失败"
  fi

else
  echo "$(date +"%Y-%m-%d %H:%M:%S") Kafka Topic " $TOPIC " IN GROUP " $GROUP_ID " 消息堆积总量为:" $total_lag " 小于 " $1
fi

2、创建定时任务

每隔1小时,执行一次

powershell 复制代码
0 */1 * * * /data/app/etl-dw/shell/check-kafka-lag.sh 100000 >> /data/logs/etl-dw/check-kafka-lag.log 2>&1 &
相关推荐
半间烟雨4 小时前
⼆、Kafka客户端消息流转流程
分布式·kafka
FLGB10 小时前
Kafka延迟队列实现分级重试
分布式·kafka
java1234_小锋20 小时前
Kafka中的消息是如何存储的?
分布式·kafka
老友@20 小时前
Kafka 深度解析:高性能设计、部署模式、容灾机制与 KRaft 新模式
分布式·kafka·kraft·高性能·容灾机制
余子桃20 小时前
Kafka的安装与使用(windows下python使用等)
分布式·kafka
java1234_小锋21 小时前
Kafka中的消息如何分配给不同的消费者?
分布式·kafka
小样vvv21 小时前
【Kafka】深入探讨 Kafka 如何保证一致性
分布式·kafka
小样vvv21 小时前
【Kafka】消费者幂等性保障全解析
kafka
丑过三八线2 天前
【Kafka】Kafka4.0在windows上启动
windows·分布式·kafka
dengjiayue2 天前
kafka 与 RocketMQ对比
分布式·kafka·rocketmq