大厂面试真题-说说Kafka消息的不重复和不丢失

说说kafka不重不丢？

Kafka 致力于实现不重不丢，这意味着它努力确保消息不会被重复传递，也不会在传递过程中丢失。为
了实现这一目标，Kafka 采用了以下关键机制：

1. 消息复制和副本：Kafka 使用多个副本来保存消息，每个分区的消息都有多个副本分布在不同的服
   务器上。这样，即使某个服务器故障，仍然可以从其他副本中获取消息。

2. 消费者位移：Kafka 记录了每个消费者在每个分区中的位移（offset），表示消费者已经处理到哪
   个位置的消息。消费者可以定期提交位移，以确保它们不会重复消费消息。

3. 生产者确认机制：Kafka 生产者在将消息发送到服务器后，会等待服务器的确认
   （acknowledgment）。只有当服务器确认接收到消息后，生产者才会认为消息已经成功发送。

4. 事务支持：Kafka 提供了事务支持，允许生产者在发送消息时执行事务性操作。这意味着消息要么
   全部成功发送，要么一个都不发送，以确保不重不丢。

5. 幂等性生产者：Kafka 生产者支持幂等性，即使生产者发送相同的消息多次，只有一次会生效，有
   助于避免重复消息。
   以下是一个简单的 Java 代码示例，实现了 Kafka 生产者和消费者功能，同时展示了如何确保消息不重
   复和不丢失。
   生产者端（Producer.java）：

   import org.apache.kafka.clients.producer.KafkaProducer;
   import org.apache.kafka.clients.producer.Producer;
   import org.apache.kafka.clients.producer.ProducerRecord;
   import org.apache.kafka.common.serialization.StringSerializer;
   import java.time.Duration;
   import java.util.Properties;
   public class Producer {
   public static void main(String[] args) {
   // 配置生产者参数
   Properties props = new Properties();
   props.put("bootstrap.servers", "localhost:9092");
   props.put("key.serializer",
   "org.apache.kafka.common.serialization.StringSerializer");
   props.put("value.serializer",
   "org.apache.kafka.common.serialization.StringSerializer");
   // 创建生产者实例
   Producer<String, String> producer = new KafkaProducer<>(props);
   // 发送消息
   for (int i = 0; i < 10; i++) {
   String message = "Hello, Kafka!" + i;
   producer.send(new ProducerRecord<>("test-topic", message));
   System.out.printf("Sent message: %s%n", message);
   try {
   Thread.sleep(1000);
   } catch (InterruptedException e) {
   e.printStackTrace();
   }
   import org.apache.kafka.clients.producer.KafkaProducer;
   import org.apache.kafka.clients.producer.Producer;
   import org.apache.kafka.clients.producer.ProducerRecord;
   import org.apache.kafka.common.serialization.StringSerializer;
   import java.time.Duration;
   import java.util.Properties;
   public class Producer {
   public static void main(String[] args) {
   // 配置生产者参数
   Properties props = new Properties();
   props.put("bootstrap.servers", "localhost:9092");
   props.put("key.serializer",
   "org.apache.kafka.common.serialization.StringSerializer");
   props.put("value.serializer",
   "org.apache.kafka.common.serialization.StringSerializer");
   // 创建生产者实例
   Producer<String, String> producer = new KafkaProducer<>(props);
   // 发送消息
   for (int i = 0; i < 10; i++) {
   String message = "Hello, Kafka!" + i;
   producer.send(new ProducerRecord<>("test-topic", message));
   System.out.printf("Sent message: %s%n", message);
   try {
   Thread.sleep(1000);
   } catch (InterruptedException e) {
   e.printStackTrace();
   }

这个生产者实例使用了 KafkaProducer 类，并发送了 10 条消息到名为 test-topic 的 topic。在 main
方法中，调用 send 方法发送消息，并在发送消息后打印消息内容。生产者在运行过程中，会持续发送
消息。当需要结束程序时，调用 close 方法关闭生产者。
消费者端（Consumer.java）：

import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.Consumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.common.serialization.StringSerializer;
import java.time.Duration;
import java.util.Collections;
import java.util.Properties;
public class Consumer {
public static void main(String[] args) {
// 配置消费者参数
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer",
"org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer",
"org.apache.kafka.common.serialization.StringSerializer");
props.put("enable.auto.commit", "true");
props.put("auto.commit.interval.ms", "1000");
// 创建消费者实例
Consumer<String, String> consumer = new KafkaConsumer<>(props);
// 订阅 topic
consumer.subscribe(Collections.singletonList("test-topic"));
// 消费消息
while (true) {
ConsumerRecords<String, String> records =
consumer.poll(Duration.ofMillis(1000));
for (ConsumerRecord<String, String> record : records) {
System.out.printf("offset = %d, key = %s, value = %s%n",
record.offset(), record.key(), record.value());
}
}
// 关闭消费者
consumer.close();
}
}

这个消费者实例使用了 KafkaConsumer 类，并订阅了名为 test-topic 的 topic。在 main 方法中，使用
poll 方法轮询消息，并在接收到消息时打印 offset、key 和 value。消费者在运行过程中，会持续接收
和处理消息。当需要结束程序时，调用 close 方法关闭消费者。