kafka入门(一):kafka消息发送与消费

kafka的基础概念

  • Producer (消息生产者)

    向主题发布消息的客户端应用程序称为生产者(Producer),生产者用于持续不断的向某个主题发送消息。

  • Consumer (消息消费者)

    订阅主题消息的客户端程序称为消费者(Consumer),消费者用于处理生产者产生的消息。

  • Consumer Group (消费者组)

每个消费者属于一个特定的消费者群组(可为每个消费者指定group name,若不指定group name则属于默认的group)。

每个消费者群组都有一个唯一的GroupId。

  • Brokers(kafka服务器)

一个独立的 Kafka 服务器就被称为 broker,broker 接收来自生产者的消息,为消息设置偏移量,并提交消息到磁盘保存。

一个broker可以容纳多个topic。每个broker都有各自的broker.id

  • Topics(主题)

消息的种类称为 主题(Topic),可以说一个主题代表了一类消息。相当于是对消息进行分类。

  • Partition(分区)

主题(Topic)可以被分为若干个分区(partition),同一个主题中的分区可以不在一个机器上,有可能会部署在多个机器上,

由此来实现 kafka 的伸缩性,单一主题中的分区有序,但是无法保证主题中所有的分区有序。

安装kafka,创建 topic:

Windows安装kafka, 详情见:https://blog.csdn.net/sinat_32502451/article/details/133067851

Linux 安装kafka,详情见:https://blog.csdn.net/sinat_32502451/article/details/133080353

添加依赖包:

        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
            <version>2.1.10.RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>2.0.0</version>
        </dependency>

kafka生产者示例:

按以下步骤发送消息:

  • 设置 broker服务器的ip和端口

  • 生产者初始化

  • 发送消息

    public class KafkaDemoProducer {
    public static final String BROKER_LIST = "localhost:9092";
    public static final String TOPIC = "myTopic1";

      public static void main(String[] args) {
          //属性配置
          Properties properties = getProperties(BROKER_LIST);
          //生产者初始化
          KafkaProducer<String, String> producer = new KafkaProducer<>(properties);
          ProducerRecord<String, String> record = new ProducerRecord<>(TOPIC, "hello kafka");
          //发送消息
          try {
              producer.send(record);
              
          } catch (Exception e) {
              System.out.println("send error." + e);
          }
          producer.close();
      }
    
      private static Properties getProperties(String brokerList) {
          Properties properties = new Properties();
          properties.put("key.serializer",
                  "org.apache.kafka.common.serialization.StringSerializer");
          properties.put("value.serializer",
                  "org.apache.kafka.common.serialization.StringSerializer");
          properties.put("bootstrap.servers", brokerList);
          return properties;
      }
    

    }

kafka消费者示例:

主要按照以下步骤:

  • 设置 broker服务器的ip和端口, 设置 消费者群组id

  • 初始化消费者

  • 消费者订阅主题

  • 消费者批量拉取消息

    public class KafkaDemoConsumer {
    public static final String BROKER_LIST = "localhost:9092";
    public static final String TOPIC = "myTopic1";
    public static final String GROUP_ID = "group.demo";

      public static void main(String[] args) {
          consumerRecord();
      }
    
      public static void consumerRecord() {
          //属性配置
          Properties properties = getProperties(BROKER_LIST, GROUP_ID);
          //消费者初始化
          KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties);
          //消息者订阅主题
          consumer.subscribe(Collections.singletonList(TOPIC));
          //循环
          while (true) {
              //每次拉取 1千条消息
              ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
              for (ConsumerRecord<String, String> record : records) {
                  System.out.println("=============> 消费kafka消息:"+ record.value());
              }
          }
      }
    
      public static Properties getProperties(String brokerList, String groupId) {
          Properties properties = new Properties();
          //序列化
          properties.put("key.deserializer",
                  "org.apache.kafka.common.serialization.StringDeserializer");
          properties.put("value.deserializer",
                  "org.apache.kafka.common.serialization.StringDeserializer");
          //broker服务器的ip和端口,多个用逗号隔开
          properties.put("bootstrap.servers", brokerList);
          //消费者群组id
          properties.put("group.id", groupId);
          return properties;
      }
    

    }

观察idea 控制台,可以看到 成功消费了消息:

=============> 消费kafka消息:hello kafka

参考资料:

《深入理解kafka 核心设计与实践原理》
kafka的简单理解

相关推荐
一條狗3 小时前
随笔20241126 Kafka 消费者的自动提交与手动提交偏移量详解
分布式·kafka
运维&陈同学3 小时前
【kafka01】消息队列与微服务之Kafka详解
运维·分布式·后端·微服务·云原生·容器·架构·kafka
Mr.朱鹏3 小时前
设计模式之策略模式-工作实战总结与实现
java·spring·设计模式·kafka·maven·策略模式·springbbot
scc21401 天前
kafka学习-02
分布式·学习·kafka
lzhlizihang1 天前
使用Java代码操作Kafka(五):Kafka消费 offset API,包含指定 Offset 消费以及指定时间消费
java·kafka·offset
xidianjiapei0011 天前
Kafka Transactions: Part 1: Exactly-Once Messaging
分布式·kafka·消息系统·exactly-once语义·精确一次语义
zmd-zk1 天前
kafka生产者和消费者命令的使用
大数据·分布式·学习·kafka
lzhlizihang1 天前
Flume和kafka的整合:使用Flume将日志数据抽取到Kafka中
大数据·kafka·flume
jlting1951 天前
Flink——进行数据转换时,报:Recovery is suppressed by NoRestartBackoffTimeStrategy
大数据·flink·kafka
是棍子啊1 天前
消息队列&Kafka
分布式·kafka