Shell控监Kafka积压

1、获取Kafka消息堆积情况

vi check-kafka-lag.sh

powershell 复制代码
#!/bin/bash

TOPIC="total_random"
GROUP_ID="etl-dw"
BOOTSTRAP_SERVER="node-01:9092,node-02:9092,node-03:9092"

# 检查第一个参数是否为数字
if ! [[ $1 =~ ^[0-9]+$ ]]; then
    echo "错误: 传入参数必须是数字" >&2
    exit 1
fi

# 获取LAG信息
LAG_INFO=`sh /data/app/kafka/bin/kafka-consumer-groups.sh --bootstrap-server $BOOTSTRAP_SERVER --group $GROUP_ID --describe | grep $TOPIC | awk -F " " '{print $6}'`

# 初始化LAG总和为0
total_lag=0

for lag in ${$LAG_INFO[@]};
do
  total_lag=$(($total_lag + $lag))
done

# 判断消息积压情况,是否重启程序
if [ $total_lag -gt $1 ]; then 
  echo "$(date +"%Y-%m-%d %H:%M:%S") Kafka Topic " $TOPIC " IN GROUP " $GROUP_ID " 消息堆积总量为:" $total_lag " 大于 " $1 ",停止DW模块"
  sh ./stop-dwkudu.sh
  
  # 判断是否执行成功
  if [ $? -eq 0 ]; then 
    sh ./start-dwkudu.sh
	echo "$(date +"%Y-%m-%d %H:%M:%S") 启动DW模块完成"
  else
    echo "$(date +"%Y-%m-%d %H:%M:%S") 停止DW模块失败"
  fi

else
  echo "$(date +"%Y-%m-%d %H:%M:%S") Kafka Topic " $TOPIC " IN GROUP " $GROUP_ID " 消息堆积总量为:" $total_lag " 小于 " $1
fi

2、创建定时任务

每隔1小时,执行一次

powershell 复制代码
0 */1 * * * /data/app/etl-dw/shell/check-kafka-lag.sh 100000 >> /data/logs/etl-dw/check-kafka-lag.log 2>&1 &
相关推荐
云攀登者-望正茂10 分钟前
Kafka 架构设计和组件介绍
分布式·kafka
露卡_13 分钟前
Kafka和其他组件的整合
分布式·kafka·linq
goTsHgo20 分钟前
Kafka 保证多分区的全局顺序性的设计方案和具体实现
分布式·kafka
欧先生^_^1 小时前
学习 Apache Kafka
学习·kafka·apache
不要天天开心4 小时前
Kafka与Spark-Streaming:大数据处理的黄金搭档
kafka·scala
煤烦恼10 小时前
kafka整合flume与DStream转换
分布式·kafka
快乐点吧10 小时前
启动命令汇总(Redis / Kafka / Flume / Spark)
redis·kafka·flume
南客先生21 小时前
互联网大厂Java面试:RocketMQ、RabbitMQ与Kafka的深度解析
java·面试·kafka·rabbitmq·rocketmq·消息中间件
知其_所以然1 天前
如何使用@KafkaListener实现从nacos中动态获取监听的topic
kafka
淋一遍下雨天1 天前
Spark-Streaming核心编程
大数据·kafka