kafka生产者与消费者

文章目录


提示:这里可以添加本文要记录的大概内容:

一、 pom.xml依赖包

java 复制代码
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
    <version>2.8.0</version>
</dependency>

二、yml配置文件

yml 复制代码
spring:
  kafka:
    listener:
      concurrency: 3  #线程数
      ack-mode: manual_immediate
      type: batch #批量
    bootstrap-servers: 192.168.1.214:9092
    # 生产者配置
    producer:
#      retries: 1 # 消息发送重试次数
      batch-size: 16384
      buffer-memory: 33554432
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      key-serializer: org.apache.kafka.common.serialization.StringSerializer

    #消费者需配置,生产者不需要
    consumer:
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      group-id: goodwe-touring-car-groupid-1
      auto-offset-reset: earliest #latest, earliest, none
      enable-auto-commit: false
      auto-commit-interval: 5000
      max-poll-records: 1000        #批量消费最大数量

    topic: portable_performance

#自定义项目run, 运行kafka.
custom:
  run:
    kafka: true
    
    
    
############################### 参数说明 #########################################
    consumer:
      # 自动提交的时间间隔 在spring boot 2.X 版本中这里采用的是值的类型为Duration 需要符合特定的格式,如1S,1M,2H,5D
      auto-commit-interval: 1S
      # 该属性指定了消费者在读取一个没有偏移量的分区或者偏移量无效的情况下该作何处理:
      # latest(默认值)在偏移量无效的情况下,消费者将从最新的记录开始读取数据(在消费者启动之后生成的记录)
      # earliest :在偏移量无效的情况下,消费者将从起始位置读取分区的记录
      auto-offset-reset: earliest
      # 是否自动提交偏移量,默认值是true,为了避免出现重复数据和数据丢失,可以把它设置为false,然后手动提交偏移量
      enable-auto-commit: false
      # 键的反序列化方式
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      # 值的反序列化方式
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      listener:
        # 在侦听器容器中运行的线程数。
        concurrency: 5
        #listner负责ack,每调用一次,就立即commit
        ack-mode: manual_immediate
        missing-topics-fatal: false

三、消费者

java 复制代码
import com.alibaba.fastjson.JSON;
import com.baomidou.mybatisplus.core.toolkit.CollectionUtils;
import com.goodwe.kafkaapi.model.constant.RedisConst;
import com.goodwe.kafkaapi.model.entity.ConsumerMessageData;
import lombok.extern.slf4j.Slf4j;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.support.Acknowledgment;

import javax.annotation.Resource;
import java.util.*;
import java.util.stream.Collectors;


/**
 * @Description : kafka消费者
 *
 * @Author : LiYan
 * @CreateTime : 2023/8/16 8:35
 */
@Slf4j
@Configuration
public class KafkaConsumer {

    private static final String REDIS_KEY = RedisConst.getREDIS_PREFIX() + RedisConst.getKEY();

    @Resource
    private RedisTemplate<String,String> redisTemplate;

    @KafkaListener(topics = "#{'${spring.kafka.topic}'}", autoStartup = "${custom.run.kafka}")
    public void receive(List<ConsumerRecord<String, String>> listMessage, Acknowledgment ack) {
        try {
            log.info("----------------------开始消费消息--------------------------");

            if (CollectionUtils.isNotEmpty(listMessage)) {
                Map<String, ConsumerMessageData> dataMap = listMessage.stream()
                        .map(message -> JSON.parseObject(message.value(), ConsumerMessageData.class))
                        .collect(Collectors.toMap(ConsumerMessageData::getSn, data -> data, (oldValue, newValue) -> newValue));

                dataMap.forEach((key, value) -> {
                    redisTemplate.opsForZSet().add(REDIS_KEY, JSON.toJSONString(value), System.currentTimeMillis());
                });
            }
        } catch (Exception ex) {
            log.info("【断点续传处理】消费断点续传数据error;", ex);
        } finally {
            ack.acknowledge();
        }
    }
}

四、生产者

java 复制代码
@SpringBootTest
class KafkaApiApplicationTests {

    @Resource
    private KafkaTemplate<String, String> kafkaTemplate;

    @Test
    public void testRedis(){
        List<ConsumerMessageData> messageData = messageData();
        for (ConsumerMessageData data : messageData) {
            String topic = "portable_performance";
            kafkaTemplate.send(topic, JSON.toJSONString(data));
        }
    }
}


@RestController
public class KafkaController {

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    @PostMapping("/send")
    public void sendMessage(@RequestBody String message) {
        kafkaTemplate.send("my-topic", message);
    }

}

总结

================== 好记性不如烂笔头=========================

相关推荐
Bug退退退1232 小时前
RabbitMQ 高级特性之事务
java·分布式·spring·rabbitmq
CodeWithMe3 小时前
【Note】《Kafka: The Definitive Guide》第四章:Kafka 消费者全面解析:如何从 Kafka 高效读取消息
分布式·kafka
Gauss松鼠会6 小时前
GaussDB应用场景全景解析:从金融核心到物联网的分布式数据库实践
数据库·分布式·物联网·金融·database·gaussdb
csdn_aspnet6 小时前
在 MacOS 上安装和配置 Kafka
macos·kafka
宛西南浪漫戈命8 小时前
Centos 7下使用C++使用Rdkafka库实现生产者消费者
c++·centos·linq
@Jackasher9 小时前
Redisson是如何实现分布式锁的?
分布式
❀always❀15 小时前
深入浅出分布式限流(更新中)
分布式·wpf
Bug退退退12317 小时前
RabbitMQ 幂等性
分布式·rabbitmq
{⌐■_■}1 天前
【Kafka】登录日志处理的三次阶梯式优化实践:从同步写入到Kafka多分区批处理
数据库·分布式·mysql·kafka·go