Kafka如何配置生产者拦截器和消费者拦截器

Kafka 的生产者拦截器和消费者拦截器允许你在消息发送前后以及消息消费前后嵌入自定义逻辑,用于实现监控、审计、消息修改等功能。本文我们就用一个最常见的传递TraceId的案例来说明下这两类拦截器如何来使用。

生产者发送拦截器

生产者拦截器需要实现 org.apache.kafka.clients.producer.ProducerInterceptor 接口。在这个拦截器中,我们把保存到ThreadLocal中的traceId设置到消息的header中。

步骤 1:实现拦截器类

创建一个类,实现 ProducerInterceptor 接口。该接口有两个核心方法:

  • onSend(ProducerRecord record): 在消息被序列化和计算分区之前调用。你可以修改或记录消息。

  • onAcknowledgement(RecordMetadata metadata, Exception exception): 在消息被服务器确认(成功或失败)之后调用。这会在生产者回调触发之前调用。注意:该方法不要在 ProducerInterceptor 中实现耗时逻辑,因为它会阻塞生产者。

java 复制代码
public class SendTraceIdInterceptor implements ProducerInterceptor<String, String> {
    @Override
    public ProducerRecord<String, String> onSend(ProducerRecord<String, String> producerRecord) {
        // 把TheadLocal中traceId设置到header中
        producerRecord.headers().add(RequestContext.TRACE_ID, RequestContext.getTraceId().getBytes());
        return producerRecord;
    }

    @Override
    public void onAcknowledgement(RecordMetadata recordMetadata, Exception e) {
        if(e == null){
            log.info("send successfully");
        } else {
            log.error("send error : {}", e);
        }
    }

    @Override
    public void close() {
    }
    // 这里可以拿到所有的producer的配置信息
    @Override
    public void configure(Map<String, ?> map) {
        log.info("configure:{}", map);
    }
}
步骤 2:在生产者配置中指定拦截器
yml 复制代码
spring:
  kafka:
    bootstrap-servers: localhost:9092  # Kafka服务器地址
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      properties:
        interceptor.classes: com.github.xjs.kafka.interceptor.SendTraceIdInterceptor

消费者接收拦截器

消费者拦截器需要实现 org.apache.kafka.clients.consumer.ConsumerInterceptor 接口。在这个拦截器中我们读取消息中的header并重新设置到ThreadLocal中。

步骤 1:实现拦截器类

创建一个类,实现 ConsumerInterceptor 接口。该接口也有两个核心方法:

  • onConsume(ConsumerRecords records): 在消息被反序列化之后、传递给消费者poll()方法返回之前调用。你可以修改或过滤消息。
  • onCommit(Map offsets): 在消费者提交偏移量之后调用。
java 复制代码
public class ReceiveTraceIdInterceptor implements ConsumerInterceptor<String, String> {

    private static Logger log = LoggerFactory.getLogger(ReceiveTraceIdInterceptor.class);

    @Override
    public ConsumerRecords<String, String> onConsume(ConsumerRecords<String, String> records) {
        for(Iterator<ConsumerRecord<String, String>> recordIterator = records.iterator(); recordIterator.hasNext();){
            ConsumerRecord<String, String> record = recordIterator.next();
            Headers headers = record.headers();
            if(headers == null){
                continue;
            }
            for(Iterator<Header> headerIterator = headers.iterator(); headerIterator.hasNext();){
                Header header = headerIterator.next();
                // 从header中获取traceId, 并保存到ThreadLocal          
                if(Objects.equals(header.key(), RequestContext.TRACE_ID)){
                    RequestContext.setTraceId(new String(header.value()));
                }
            }
        }
        return records;
    }
    @Override
    public void onCommit(Map<TopicPartition, OffsetAndMetadata> offsets) {
    }
    @Override
    public void close() {
    }
    // 这里可以拿到所有的消费者的配置
    @Override
    public void configure(Map<String, ?> configs) {
        log.info("consumer configure:{}", configs);
    }
}
步骤 2:在消费者配置中指定拦截器
xml 复制代码
spring:
  kafka:
    bootstrap-servers: localhost:9092  # Kafka服务器地址
    consumer:
      group-id: my-group  # 默认的消费者组ID
      auto-offset-reset: earliest  # 如果没有初始偏移量或偏移量已失效,从最早的消息开始读取
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      properties:
        interceptor.classes: com.github.xjs.kafka.interceptor.ReceiveTraceIdInterceptor    

总结

位置
  • 生产者拦截器:在消息序列化和分区之前(onSend)以及确认之后(onAcknowledgement)调用。
  • 消费者拦截器:在消息反序列化之后、返回给用户之前(onConsume)以及提交偏移量之后(onCommit)调用。
配置

使用 ProducerConfig.INTERCEPTOR_CLASSES_CONFIG和 ConsumerConfig.INTERCEPTOR_CLASSES_CONFIG 属性进行配置。

值是该拦截器类的全限定名,多个拦截器用逗号分隔,它们会按照配置的顺序执行。

用途
  • 监控和审计:记录消息发送/接收的成功失败、延迟等。
  • 消息修改:在发送前给消息添加统一前缀或头信息。
  • 自定义指标:与监控系统(如 Prometheus)集成,收集特定指标。
  • 过滤:消费者端可以尝试过滤消息,比如:本地local开发环境和测试服务器的test环境可能使用的是同一套kafka服务,我们可以在消息头中传递环境标识,在消费者端去过滤只属于自己这个环境的消息,从而防止引起混乱。
相关推荐
aiotto资源分享4 分钟前
Python 写 JSON 文件,程序中途退出会留下什么?
java·python·json·jsondecodeerror
RuoyiOffice41 分钟前
SpringBoot3+Vue3 采购到付款:ERP、WMS与财务如何按同一来源协同
java·spring boot·架构·vue
文丑颜不良啊1 小时前
LeetCode3261~3280题目解析
java·leetcode
代码不停1 小时前
Spring 原理
java·spring
企业数字化笔记2 小时前
报表上线怎么对账?口径回归、权限抽检与差异定位
java·spring boot·mysql
乌暮2 小时前
少写重复 CRUD:用大白话搞懂 MyBatis-Plus
java·开发语言·spring boot·面试·mybatis
CoderYanger2 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第四弹):图书管理系统(用户登录+添加图书)
java·数据库·spring boot·mysql·面试·java-ee·mybatis
goyeer2 小时前
【Kubernetes】Kubernetes之CRI详解
java·容器·kubernetes
牧瀬クリスだ2 小时前
从零手写博客系统:分层架构与统一响应(一)
java·数据库·架构·mybatis·springboot·安全架构
ClouGence3 小时前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka