Apache Kafka 入门教程

格林希尔2023-08-03 8:41

Apache Kafka 入门教程

一、简介

简介

Apache Kafka 是由 Apache 软件基金会开发的一个开源流处理平台，用于处理实时的大规模数据流。Kafka 的目标是为了处理活跃的流式数据，包括传感器数据，网站日志，应用程序内部的消息，等等。它可以处理成千上万的消息，并让你迅速地处理和存储这些消息。在 Kafka 中，生产者负责将消息发送到 Kafka 集群中的 Broker，消费者则从 Broker 订阅并接收消息。

架构

Kafka 的架构由 Producer，Broker 和 Consumer 三部分组成，同时具备高并发、高吞吐量和分布式等特点。Producer 可以将消息发送到 Broker，Consumer 可以从 Broker 订阅和接收消息，而 Broker 则可以存储多个 Topic。一个 Topic 可以有多个 Partition，Partition 中的消息可以通过 Offset 进行管理，Kafka 中的消息以 Append-only 形式进行存储。

二、Kafka 安装和配置

JDK

  1. 下载 JDK，例如：jdk-8u291-linux-x64.tar.gz。
  2. 解压 JDK 到任意目录，例如 /usr/lib/jvm/jdk1.8.0_291。
  3. 配置环境变量，例如：
shell 复制代码 
    $ export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_291
    $ export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
    $ export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

安装 Kafka

  1. 下载 Kafka，例如：kafka_2.12-2.8.0.tgz。
  2. 解压 Kafka 到任意目录，例如 /opt/kafka。
  3. 修改配置文件，根据需要修改 server.properties 文件。

配置文件详解

Kafka 的配置文件位于 config/server.properties。下面是一些常用的配置项及其含义：

  1. broker.id，Broker 的唯一标识符。
  2. advertised.listeners，监听该 Broker 的客户端连接地址和端口。
  3. log.dirs，消息存储文件目录。
  4. zookeeper.connect，使用的 ZooKeeper 地址和端口。
  5. num.network.threads，用于处理网络请求的线程数。
  6. num.io.threads，用于处理磁盘 IO 的线程数。
  7. socket.receive.buffer.bytes 和 socket.send.buffer.bytes，用于控制 TCP 缓冲区大小。
  8. group.initial.rebalance.delay.ms，当 Consumer Group 内有 Consumer 加入或离开时，延迟多久再开始重新 balabce。
  9. auto.offset.reset，Consumer Group 在消费新的 Topic 或 Partition 时的 offset 已经不存在时，如何设置 offset，默认是 latest。

三、Kafka 的基本操作

启动和关闭

shell 复制代码 
//启动Kafka
$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties

//关闭Kafka
$KAFKA_HOME/bin/kafka-server-stop.sh

Topic 创建和删除

java 复制代码 
import kafka.admin.AdminUtils;
import kafka.utils.ZkUtils;

//创建Topic
String topicName = "test";
int numPartitions = 3;
int replicationFactor = 2;
Properties topicConfig = new Properties();
AdminUtils.createTopic(zkUtils, topicName, numPartitions, replicationFactor, topicConfig);

//删除Topic
AdminUtils.deleteTopic(zkUtils, topicName);

Partitions 和 Replication 配置

可以在创建Topic时指定Partitions数和Replication Factor，如果需要修改可以通过以下命令修改：

java 复制代码 
//修改Partitions数
bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic test --partitions 4

//修改Replication Factor
bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic test --replication-factor 3

Producer 和 Consumer 使用方法

Producer

java 复制代码 
import org.apache.kafka.clients.producer.*;

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("acks", "all");
props.put("retries", 0);
props.put("batch.size", 16384);
props.put("linger.ms", 1);
props.put("buffer.memory", 33554432);
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

Producer<String, String> producer = new KafkaProducer<>(props);
for (int i = 0; i < 100; i++)
    producer.send(new ProducerRecord<String, String>("test", Integer.toString(i), Integer.toString(i)));

producer.close();

Consumer

java 复制代码 
import org.apache.kafka.clients.consumer.*;
import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "test");
props.put("auto.commit.interval.ms", "1000");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

Consumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Collections.singletonList("test"));
while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records)
        System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
}

四、Kafka 高级应用

消息的可靠性保证

在 Kafka 中消息的可靠性保证是通过两种机制来实现的：支持副本机制和 ISR （In-Sync Replicas）列表。

  1. 支持副本机制

    副本机制是指一个主题（Topic）下的分区（Partition）可以有多个副本，每个副本都存储了完整的消息，其中一个副本被指定为 leader 副本，其他副本为 follower 副本。当 producer 发送消息到某个分区时，只需要发送给 leader 副本，leader 副本再将消息分发给其他 follower 副本，这样就保证了消息的可靠性。即使某个 follower 副本出现了故障，也不会影响消息的消费，因为其他副本依然存放着完整的消息。

  2. ISR (In-Sync Replicas)列表

    ISR 列表是指当前与 leader 副本保持同步的所有 follower 副本构成的列表。当某个 follower 副本落后于 leader 副本时，会从 ISR 列表中移除，直到追上 leader 副本后再加入到 ISR 列表中。这个机制保证了 Kafka 集群的高可用性，同时也保证了消息的可靠性。

  3. At least once 语义

    Kafka 默认保证的是 At least once 语义，即 "至少处理一次"，这种语义可以通过消息的重复消费来保证，但是会带来处理效率的损失。如果希望保证消息仅被处理一次，可以选择使用幂等性（Idempotence）或事务机制。

Kafka Stream

Kafka Stream 是 Kafka 生态系统中基于流处理模型的一个库。它充分利用了 Kafka 的优点，比如高吞吐、扩展性好、可靠性高等，支持实时的数据流处理和批量处理，并且操作符也非常丰富。

  1. Stream 流处理模型

    Stream 流处理模型是一种将输入数据流转换为输出数据流的模型，可以完成实时的数据处理。在 Kafka Stream 中，数据流由一个一个记录（Record）组成，每个记录由一个键（Key）和一个值（Value）构成。通过对 Stream 流处理模型的熟练掌握，可以快速开发出高效、高可靠性的流处理程序。

  2. 操作符详解

    操作符是 Kafka Stream 中最核心的概念，是用于转换数据流的最基本单元。Kafka Stream 提供了丰富的操作符，包括过滤器、映射器、聚合器、分组器等，开发者可以根据需要灵活选择。其中，映射器和聚合器是最常用的操作符，它们可以完成对数据流的各种处理和转换。

Kafka Connect

Kafka Connect 是 Kafka 生态系统中用于将数据集成到和从 Kafka 中的工具。它通过 Connector 来实现数据的传输，Kafka Connect 可以集成各种数据源和数据目的地，如文件、数据库、消息队列等。使用 Kafka Connect 可以快速的完成数据的导入和导出，并且可以实现数据的有效管理和监控。

  1. Connector 快速入门教程

    Kafka Connect 的使用非常简单，只需要编写一个 Connector 配置文件，然后启动 Kafka Connect 进程即可。在 Connector 的配置文件中，需要指定数据源和数据目的地的配置信息，并定义如何从数据源中读取数据，以及如何将数据发送到数据目的地中。

  2. 实现自定义 Connect

    如果 Kafka Connect 自带的 Connector 不能满足需求，开发者还可以自定义 Connector 来实现数据的导入和导出。开发者可以参考 Kafka Connect 源码中已经实现的 Connector 来进行开发，并根据需要完善自己的 Connector 功能。通过自定义 Connector，开发者可以灵活定制符合自己业务需求的数据接入方案。

五、Kafka 集群管理

集群环境的部署

为了部署 Kafka 集群，可以按如下步骤进行：

  1. 确保集群所有节点的操作系统都是一致的，建议使用 CentOS 7。
  2. 下载并配置 JDK，Kafka 依赖于 Java 运行环境。
  3. 下载 Kafka 安装包，解压到指定目录。
  4. 修改 Kafka 配置文件 server.properties，需要注意的配置项包括以下几个：
    • broker.id：表示当前节点的 ID，必须在所有节点中唯一。
    • listeners：用于设置 Kafka 绑定的地址和端口，其中端口号需要在每个节点上都是唯一的。建议使用 IP 地址而非主机名作为监听地址。
    • log.dirs：表示消息日志保存的路径，建议为每个节点分别设置，避免多个节点共用一个目录导致数据混乱。
    • zookeeper.connect：表示 ZooKeeper 的连接地址，ZooKeeper 是 Kafka 集群的重要组件。

操作和维护集群

Kafka 集群的运维主要包括以下几个方面：

监控和告警

Kafka 集群应该具备完善的监控和告警机制，能够及时检测和处理集群中的异常情况，防止集群的宕机或数据丢失等问题。通常使用开源监控系统，如 Prometheus、Grafana。

消息备份和恢复

为了防止消息丢失，Kafka 集群需要配置合适的备份策略，保证消息能够在系统故障或数据中心故障时依然可用。具体可以采用多副本备份策略或异地多活等方式来备份数据，也可以使用相关的数据备份工具。

热点问题处理

如果集群出现消费热点问题，需要及时排查，可以使用 Kafka 自带的 Consumer Lag 工具或第三方工具进行分析，找出出现热点的原因并制定相应的解决方案。

集群扩容和缩容

当 Kafka 集群无法满足业务需求或需要优化性能时，我们可能需要对集群进行扩容或缩容操作。

扩容操作

扩容可通过增加节点数量和调整多个配置项来进行：

  1. 增加节点数量：新增节点需要与集群中的其它节点具有相同的环境配置，包括操作系统和 Java 版本等。新增节点后需要更新 server.properties 文件，并重启 Kafka 进程才能让新节点生效。同时需要重新分配分区并执行数据迁移。
  2. 调整多个配置项：可以通过调整消息生产和消费的吞吐量、扩容 Broker 的资源、增加副本数等一系列操作来提升 Kafka 集群的性能。

缩容操作

缩容可通过减少节点数量和删除多个配置项来进行：

  1. 减少节点数量：需要首先确认是否有冗余的节点存在，如果存在冗余节点可以将其停机或从集群中移除。同时需要更新 server.properties 文件，并重启 Kafka 进程才能让缩容生效。需要注意的是，在进行节点缩容时需要重新分配分区和执行数据迁移。
  2. 删除多个配置项：可以通过调整消息保留时间、削弱单个 Broker 的吞吐量等一系列操作来缩小 Kafka 集群的规模。

在进行扩容和缩容操作前，需要通过合适的监控工具了解当前集群的状态和性能表现，根据实际需求进行配置和调整。同时使用备份策略，确保数据的完整性和可用性。

六、应用案例

日志收集

Kafka 作为一个分布式的消息队列，其在日志收集方面能够做到高效、可靠且低延迟的处理。以下是一个简单的 Java 代码示例，用于将系统日志发送到 Kafka 集群中：

java 复制代码 
import org.apache.kafka.clients.producer.*;
import java.util.Properties;

public class KafkaLogProducer {
    private final KafkaProducer<String, String> producer;
    private final String topic;

    public KafkaLogProducer(String brokers, String topic) {
        Properties prop = new Properties();
        
        // 配置 Kafka 集群地址
        prop.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, brokers);
        
        // 配置 key 和 value 的序列化器
        prop.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        prop.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        
        this.producer = new KafkaProducer(prop);
        this.topic = topic;
    }

    public void sendLog(String message) {
        producer.send(new ProducerRecord<>(topic, message));
    }

    public void close() {
        producer.close();
    }
}

数据同步

Kafka 除了可以作为日志收集的工具之外，还可以用于数据同步。使用 Kafka 可以将数据从一个系统复制到另一个系统，并且可以实现异步和批量处理。以下是一个简单的 Java 代码示例，用于把数据从源数据库同步到目标数据库：

java 复制代码 
import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.clients.producer.*;
import java.sql.*;
import java.util.Properties;

public class KafkaDataSync {
    private final KafkaConsumer<String, String> consumer;
    private final KafkaProducer<String, String> producer;
    private final String sourceTopic;
    private final String targetTopic;

    public KafkaDataSync(String brokers, String sourceTopic, String targetTopic) {
        Properties prop = new Properties();
        
        // 配置 Kafka 集群地址
        prop.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, brokers);
        
        // 配置 key 和 value 的序列化器
        prop.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        prop.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        
        this.producer = new KafkaProducer(prop);

        // 配置消费者组
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, brokers);
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "group1");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        consumer = new KafkaConsumer(props);
        consumer.subscribe(Arrays.asList(sourceTopic));
        this.sourceTopic = sourceTopic;
        this.targetTopic = targetTopic;
    }

    public void start() throws SQLException {
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                String message = record.value();
                // 将数据解析并同步到目标数据库
                syncData(message);
            }
        }
    }

    public void close() {
        consumer.close();
        producer.close();
    }

    private void syncData(String message) {
        // 数据同步逻辑代码
        // ...
        // 将同步后的数据发送到目标 Kafka Topic 中
        producer.send(new ProducerRecord<>(targetTopic, message));
    }

}

实时处理

Kafka 作为一个分布式流处理平台，具有强大的实时处理能力。可以支持多种实时计算框架和处理引擎，例如 Apache Storm、Apache Flink 和 Apache Spark 等。以下是一个简单的 Kafka 流处理代码示例，用于统计指定时间范围内的日志数量：

java 复制代码 
import org.apache.kafka.streams.*;
import org.apache.kafka.streams.kstream.*;
import java.util.Properties;

public class KafkaStreamProcessor {
    public static void main(String[] args) {

        Properties props = new Properties();
        
        // 配置 Kafka 集群地址
        props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        
        // 配置 key 和 value 的序列化器和反序列化器
        props.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass().getName());
        props.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass().getName());

        StreamsBuilder builder = new StreamsBuilder();
        KStream<String, String> messages = builder.stream("logs");

        // 统计指定时间范围内的日志数量
        KTable<Windowed<String>, Long> logsCount = messages
            .mapValues(log -> 1)
            .groupByKey()
            .windowedBy(TimeWindows.of(Duration.ofMinutes(5)))
            .count();

        logsCount.toStream().foreach((key, value) -> System.out.println(key.toString() + " -> " + value));

        KafkaStreams streams = new KafkaStreams(builder.build(), props);
        streams.start();
    }
}

七、优化调优

性能指标优化

Kafka 集群的性能受多种因素影响，为了提高 Kafka 集群的性能，需要关注以下几个重要的性能指标：

  • 消息吞吐量（Message throughput）：指 Kafka 集群每秒能够处理的消息数量，这取决于硬件配置、网络和磁盘速度、消息大小和复杂度等因素。
  • 延迟（Latency）：指消息从生产者发送到被消费者接收到的时间间隔，这主要取决于网络延迟和磁盘 I/O 性能。
  • 磁盘使用率（Disk utilization）：指 Kafka 集群磁盘空间使用情况，如果磁盘使用率过高，可能会导致性能下降甚至堆积。
  • 网络带宽（Network bandwidth）：指 Kafka 集群节点之间的网络传输速度，如果带宽不足，可能会限制消息吞吐量和延迟。

参数配置优化

Kafka 集群的性能受多个参数的影响，为了优化 Kafka 集群的性能，需要考虑以下几个关键参数：

  • 分区数量（number of partitions）：分区数对于 Kafka 集群的性能至关重要，它决定了消息并行处理的能力。在平衡并行处理和分布式存储之间做出权衡是至关重要的。
  • 复制因子（replication factor）：Kafka 提供了副本机制来保证数据的可靠性，增加副本机制可以提高容错能力，但也会增加网络负载和磁盘使用率。副本因子的选择应该根据数据的关键程度和集群的需求进行调整。
  • 批量大小（batch size）：批量发送和接收消息是优化 Kafka 吞吐量的一个重要方法。较大的批量大小可以减少网络传输和 I/O 操作的数量，从而提高吞吐量。同时，较大的批量大小也会使得消息的延迟增大，需要做好权衡。
  • 最大连接数（maximum connections）：Kafka 服务器使用一次处理一个连接的方式，因此连接上限对于 Kafka 集群性能而言非常重要。过多的连接可能会导致服务器资源不足，从而造成性能的下降。

架构设计优化

为了进一步提高 Kafka 集群的性能和可靠性，需要对集群的系统架构进行优化。以下是一些常用的系统架构优化方法：

  • 添加缓存层（Add a caching layer）：使用缓存将频繁访问的数据存储到内存中，可以减少 I/O 负载，加速数据访问。
  • 数据压缩（Use data compression）：在 Kafka 集群中使用消息压缩算法，可以大幅减少网络传输和磁盘写入。
  • 垂直扩展和水平扩展（Vertical and horizontal scaling）：通过增加节点或者增加机器来扩展 Kafka 集群的规模，从而提高其性能和容错能力。
  • 异地多活（Geo-replication）：将多个 Kafka 集群分布在不同地理位置，通过异地多活技术实现数据冗余，提高数据的可用性。
相关推荐
深情汤姆22 分钟前
C++ 红黑树
数据结构·c++
派可数据BI可视化3 小时前
数据指标与标签在数据分析中的关系与应用
大数据·数据仓库·商业智能bi
Ocean☾3 小时前
C语言-详细讲解-P1217 [USACO1.5] 回文质数 Prime Palindromes
c语言·数据结构·算法
java1234_小锋4 小时前
详细描述一下Elasticsearch索引文档的过程？
大数据·elasticsearch·搜索引擎
黄焖鸡能干四碗4 小时前
【软件设计文档】详细设计说明书模板和实际项目案例参照，概要设计说明书，需求设计书，软件设计报告（Word原件）
大数据·软件需求·设计规范·规格说明书·1024程序员节
Choshim-4 小时前
7-9 求无向图连通分量的数量
数据结构·算法·深度优先
股票GPT分析5 小时前
《Python 股票交易分析：开启智能投资新时代》（二）
大数据·服务器·python·c#·fastapi
淀粉肠kk5 小时前
【数据结构】二叉树（2）
数据结构·算法
Viktor_Ye5 小时前
实现金蝶云星空与钉钉数据无缝集成的技术方法
java·大数据·钉钉
予安灵6 小时前
图的邻接矩阵和邻接表存储
数据结构·算法·图
热门推荐
01抖音的互联网架构02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04国内外大模型汇总：Open AI大模型、Google大模型、Microsoft大模型、文心一言大模型、通义千问大模型、字节豆包大模型、智普清言大模型05Coze扣子平台完整体验和实践（附国内和国际版对比）06(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明07非小米电脑下载小米电脑管家08玄机平台应急响应—webshell查杀09RAG 实践- Ollama+RagFlow 部署本地知识库10单片机与数电模电：探索电子世界的核心领域