当kafka消费的数据滞后1000条时,打印告警信息

要在 Kafka

消费者中实现当数据滞后1000条时打印告警信息,你需要在消费循环中添加逻辑来检查当前消费者的偏移量与主题中的最新偏移量之间的差异。如果这个差异大于1000,就打印告警信息。以下是修改后的代码示例:

bash 复制代码
package com.mita.web.core.config.kafka;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.TopicPartition;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

/**
 * @author sunpeiyang
 * @date 2024/11/12 14:54
 */
public class KafkaConsumerDemo {
    public static void main(String[] args) {
        int numConsumers = 5; // 增加消费者的数量
        for (int i = 0; i < numConsumers; i++) {
            new Thread(new KafkaConsumerThread()).start();
        }
    }

    static class KafkaConsumerThread implements Runnable {
        private static final int ALERT_THRESHOLD = 1000; // 设置告警阈值

        @Override
        public void run() {
            // 配置消费者属性
            Properties props = new Properties();
            props.put("bootstrap.servers", "4.15.18.14:9092");
            props.put("group.id", "test-group");
            props.put("enable.auto.commit", "true");
            props.put("auto.commit.interval.ms", "5000"); // 增加自动提交偏移量的间隔
            props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
            props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
            // 调整消费者配置
            props.put("fetch.min.bytes", "1"); // 减少最小获取字节数
            props.put("fetch.max.wait.ms", "100"); // 减少最大等待时间
            props.put("max.poll.records", "500"); // 增加一次拉取的最大记录数

            // 创建消费者实例
            KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

            // 订阅主题
            consumer.subscribe(Collections.singletonList("test-topic"));

            // 消费消息
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                if (!records.isEmpty()) {
                    processRecords(records); // 异步处理消息
                    checkLag(ALERT_THRESHOLD, consumer, "test-topic"); // 检查滞后并告警
                    consumer.commitAsync(); // 异步提交偏移量
                }
            }
        }

        private void processRecords(ConsumerRecords<String, String> records) {
            // 异步处理消息的逻辑
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                // 这里可以添加消息处理逻辑,例如使用线程池并行处理
            }
        }

        private void checkLag(int threshold, KafkaConsumer<String, String> consumer, String topic) {
            for (TopicPartition partition : consumer.assignment()) {
                long currentOffset = consumer.position(partition);
                long endOffset = consumer.endOffsets(Collections.singleton(partition)).values().iterator().next();
                long lag = endOffset - currentOffset;

                if (lag > threshold) {
                    System.out.printf("Alert: Consumer lag for partition %s is %d, which exceeds the threshold of %d%n", partition, lag, threshold);
                }
            }
        }
    }
}

这里你可以发送钉钉消息等告警信息


其实我的积压很多,哈哈


积压的数据还有400多万,怎么快速的处理积压数据,当前代码也有做处理哈

相关推荐
呼啦啦啦啦啦啦啦啦2 小时前
【Rabbitmq篇】RabbitMQ⾼级特性----持久性,发送⽅确认,重试机制
分布式·rabbitmq
꧁薄暮꧂8 小时前
kafka是如何做到高效读写
分布式·kafka
隔着天花板看星星8 小时前
Kafka-创建topic源码
大数据·分布式·中间件·kafka
goTsHgo8 小时前
在Spark Streaming中简单实现实时用户画像系统
大数据·分布式·spark
别这么骄傲8 小时前
Flink Lookup Join(维表 Join)
大数据·flink·linq
PersistJiao9 小时前
Spark RDD(弹性分布式数据集)的深度理解
大数据·分布式·spark·rdd
斯普信专业组11 小时前
RabbitMQ实战启程:从配置到故障排查的实战处理(下)
网络·分布式·rabbitmq
Francek Chen11 小时前
【大数据技术基础 | 实验十一】Hive实验:新建Hive表
大数据·数据仓库·hive·hadoop·分布式
小小小妮子~13 小时前
掌握Git分布式版本控制工具:从基础到实践
分布式·git
橘子海全栈攻城狮14 小时前
【源码+文档+调试讲解】基于Hadoop实现的豆瓣电子图书推荐系统的设计与实现
大数据·数据库·hadoop·spring boot·分布式·后端