kafka的基础概念
-
Producer (消息生产者)
向主题发布消息的客户端应用程序称为生产者(Producer),生产者用于持续不断的向某个主题发送消息。
-
Consumer (消息消费者)
订阅主题消息的客户端程序称为消费者(Consumer),消费者用于处理生产者产生的消息。
-
Consumer Group (消费者组)
每个消费者属于一个特定的消费者群组(可为每个消费者指定group name,若不指定group name则属于默认的group)。
每个消费者群组都有一个唯一的GroupId。
- Brokers(kafka服务器)
一个独立的 Kafka 服务器就被称为 broker,broker 接收来自生产者的消息,为消息设置偏移量,并提交消息到磁盘保存。
一个broker可以容纳多个topic。每个broker都有各自的broker.id。
- Topics(主题)
消息的种类称为 主题(Topic),可以说一个主题代表了一类消息。相当于是对消息进行分类。
- Partition(分区)
主题(Topic)可以被分为若干个分区(partition),同一个主题中的分区可以不在一个机器上,有可能会部署在多个机器上,
由此来实现 kafka 的伸缩性,单一主题中的分区有序,但是无法保证主题中所有的分区有序。
安装kafka,创建 topic:
Windows安装kafka, 详情见:https://blog.csdn.net/sinat_32502451/article/details/133067851
Linux 安装kafka,详情见:https://blog.csdn.net/sinat_32502451/article/details/133080353
添加依赖包:
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
<version>2.1.10.RELEASE</version>
</dependency>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.0.0</version>
</dependency>
kafka生产者示例:
按以下步骤发送消息:
-
设置 broker服务器的ip和端口
-
生产者初始化
-
发送消息
public class KafkaDemoProducer {
public static final String BROKER_LIST = "localhost:9092";
public static final String TOPIC = "myTopic1";public static void main(String[] args) { //属性配置 Properties properties = getProperties(BROKER_LIST); //生产者初始化 KafkaProducer<String, String> producer = new KafkaProducer<>(properties); ProducerRecord<String, String> record = new ProducerRecord<>(TOPIC, "hello kafka"); //发送消息 try { producer.send(record); } catch (Exception e) { System.out.println("send error." + e); } producer.close(); } private static Properties getProperties(String brokerList) { Properties properties = new Properties(); properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); properties.put("bootstrap.servers", brokerList); return properties; }
}
kafka消费者示例:
主要按照以下步骤:
-
设置 broker服务器的ip和端口, 设置 消费者群组id
-
初始化消费者
-
消费者订阅主题
-
消费者批量拉取消息
public class KafkaDemoConsumer {
public static final String BROKER_LIST = "localhost:9092";
public static final String TOPIC = "myTopic1";
public static final String GROUP_ID = "group.demo";public static void main(String[] args) { consumerRecord(); } public static void consumerRecord() { //属性配置 Properties properties = getProperties(BROKER_LIST, GROUP_ID); //消费者初始化 KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties); //消息者订阅主题 consumer.subscribe(Collections.singletonList(TOPIC)); //循环 while (true) { //每次拉取 1千条消息 ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000)); for (ConsumerRecord<String, String> record : records) { System.out.println("=============> 消费kafka消息:"+ record.value()); } } } public static Properties getProperties(String brokerList, String groupId) { Properties properties = new Properties(); //序列化 properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); //broker服务器的ip和端口,多个用逗号隔开 properties.put("bootstrap.servers", brokerList); //消费者群组id properties.put("group.id", groupId); return properties; }
}
观察idea 控制台,可以看到 成功消费了消息:
=============> 消费kafka消息:hello kafka
参考资料:
《深入理解kafka 核心设计与实践原理》
kafka的简单理解