Spring Kafka生产者实现

需求

我们需要通过Spring Kafka库,将消息推送给Kafka的topic中。这里假设Kafka的集群和用户我们都有了。这里Kafka认证采取SASL_PLAINTEXT方式接入,SASL 采用 SCRAM-SHA-256 方式加解密。

pom.xml

xml 复制代码
<dependency>
	<groupId>org.springframework.kafka</groupId>
	<artifactId>spring-kafka</artifactId>
</dependency>

我这里不需要写版本号,应为我使用的Spring Boot。Spring Boot会自动帮我挑选spring-kafka应该使用哪个版本合适。

application.yml

yaml 复制代码
spring:
  kafka:
    producer:
	  # kafka集群地址
      bootstrap-servers: xx.xx.xx.xxx:9092,xx.xx.xx.xxx:9092,xx.xx.xx.xxx:9092
	  client-id: producer-dev
      # SASL_PLAINTEXT 接入方式
      security:
        protocol: SASL_PLAINTEXT
      # 反序列化方式
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      properties:
        # SASL 采用 SCRAM-SHA-256 方式
        sasl:
          mechanism: SCRAM-SHA-256
    # jaas配置
    jaas:
      options:
        username: kafkauser
        password: kafkapwd
      enabled: true
      login-module: org.apache.kafka.common.security.scram.ScramLoginModule
      control-flag: required

以上,是关于Spring Kafka的全部配置。下面摘要出来的配置,是可以单独配置在配置中心的:

yaml 复制代码
topic:
  # 接收消息的主题配置
  save: hello_kafka_topic
spring:
  kafka:
    producer:
      client-id: producer-dev
      # kafka集群地址
      bootstrap-servers: xx.xx.xx.xxx:9092,xx.xx.xx.xxx:9092,xx.xx.xx.xxx:9092
    # jaas配置
    jaas:
      options:
        username: kafkauser
        password: kafkapwd

Java

KafkaProducerService.java

java 复制代码
public interface KafkaProducerService {

    /**
     * 转发消息到kafka
     */
    void sendToKafka(String msg);

}

KafkaProducerServiceImpl.java

java 复制代码
import cn.com.xxx.service.KafkaProducerService;
import lombok.extern.slf4j.Slf4j;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.cloud.context.config.annotation.RefreshScope;
import org.springframework.kafka.core.KafkaProducerException;
import org.springframework.kafka.core.KafkaSendCallback;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.support.SendResult;
import org.springframework.stereotype.Service;
import org.springframework.util.concurrent.ListenableFuture;

import javax.annotation.Resource;

/**
 * 转发消息到kafka
 */
@RefreshScope
@Slf4j
@Service
public class KafkaProducerServiceImpl implements KafkaProducerService {

    @Resource
    private KafkaTemplate<String, String> kafkaTemplate;

    /**
     * kafka接收消息的主题
     */
    @Value("${topic.save}")
    private String topic;


    @Override
    public void sendToKafka(String msg) {
        log.info(String.format("$$$$ => Producing message: %s", msg));

        ProducerRecord<String, String> recordKafka = new ProducerRecord<>(topic, msg);

        ListenableFuture<SendResult<String, String>> future = kafkaTemplate.send(recordKafka);
        future.addCallback(new KafkaSendCallback<String, String>() {

            @Override
            public void onSuccess(SendResult<String, String> result) {
                log.info("成功发消息:{}给Kafka:{}", msg, result);
            }

            @Override
            public void onFailure(KafkaProducerException ex) {
                log.error("发消息:{}给Kafka:{}", msg, recordKafka, ex);
            }
        });
    }
}

到这里为止Spring Kafka生产者所有配置就都可以了。这里使用的异步监听kafka回调的方式发送消息。

总结

这里使用Spring Kafka库异回调步给Kafka消息。这里使用的Spring Kafka库是老版本,所以,这里的使用的回调类是ListenableFuture类。

参考:

相关推荐
程序员小陈在成都1 小时前
Spring Ioc源码引入:什么是IoC,IoC解决了什么问题
spring
xbhog1 小时前
Java大厂面试突击:从Spring Boot自动配置到Kafka分区策略实战解析
spring boot·kafka·mybatis·java面试·分布式架构
bug菌1 小时前
面十年开发候选人被反问:当类被标注为@Service后,会有什么好处?我...🫨
spring boot·后端·spring
阿杜杜不是阿木木3 小时前
03.使用spring-ai玩转MCP
java·人工智能·spring boot·spring·mcp·spring-ai
Stimd4 小时前
【重写SpringFramework】声明式事务上:构建事务切面(chapter 4-5)
java·后端·spring
南客先生4 小时前
深入解析:RocketMQ、RabbitMQ和Kafka的区别与使用场景
java·kafka·消息队列·rabbitmq·rocketmq
caihuayuan44 小时前
【docker&redis】用docker容器运行单机redis
java·大数据·sql·spring·课程设计
学编程的小程5 小时前
Spring MVC深度解析:从原理到实战
java·spring·mvc
咦!一只菜鸡6 小时前
idea连接远程服务器kafka
分布式·学习·kafka
zuckzhao956 小时前
Spring Security入门学习(一)Helloworld项目
java·学习·spring