Kafka工具类

java 复制代码
package utils;

import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.connector.kafka.sink.KafkaRecordSerializationSchema;
import org.apache.flink.connector.kafka.sink.KafkaSink;
import org.apache.flink.connector.kafka.source.KafkaSource;
import org.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

/**
 * @Package utils.KafkaUtil
 * @Author xuang
 * @Date 2025/5/13 16:20
 * @description: kafka工具类
 */
public class KafkaUtil {
    public static KafkaSink<String> getKafkaProduct(String servers, String topic) {
        return KafkaSink.<String>builder()
                .setBootstrapServers(servers)
                .setRecordSerializer(KafkaRecordSerializationSchema.builder()
                        .setTopic(topic)
                        .setValueSerializationSchema(new SimpleStringSchema())
                        .build()
                )
                .build();
    }

    public static DataStreamSource<String> getKafkaConsumer(StreamExecutionEnvironment env, String servers, String topic) {
        // 配置 KafkaSource
        KafkaSource<String> source = KafkaSource.<String>builder()
                .setBootstrapServers(servers)
                .setTopics(topic)
                .setGroupId("flink-group")
                .setStartingOffsets(OffsetsInitializer.earliest())
                .setValueOnlyDeserializer(new SimpleStringSchema())
                .build();

        // 将 KafkaSource 添加到作业
        return env.fromSource(source, WatermarkStrategy.noWatermarks(), "Kafka Source");
    }
}

概述

KafkaUtil 是一个 Apache Flink 工具类,封装了 Kafka 作为数据源(Source)和数据汇(Sink)的常用操作,简化了 Flink 与 Kafka 集成的开发工作。

功能

实现细节

Kafka Sink 配置

Kafka Source 配置

最佳实践

  1. Kafka Sink​ - 将 Flink 数据流写入 Kafka

  2. Kafka Source​ - 从 Kafka 读取数据作为 Flink 数据源

  3. 使用 SimpleStringSchema 作为值的序列化器

  4. 支持多服务器配置

  5. 需要指定目标 topic

  6. 使用 SimpleStringSchema 作为值的反序列化器

  7. 从最早偏移量开始消费(earliest())

  8. 默认消费者组 ID 为 "flink-group"

  9. 不使用 watermark 策略

  10. 消费者组管理

    对于生产环境,建议在调用处自定义消费者组 ID,而不是使用默认的 "flink-group"

  11. 序列化扩展

    对于复杂数据类型,可以扩展此类支持自定义序列化/反序列化器

  12. 容错配置

    生产环境中应考虑添加以下配置:

    • 重试策略

    • 事务配置(精确一次语义)

    • 检查点配置

  13. 安全配置

    如果 Kafka 集群启用了安全认证,需要添加以下配置:

    • SSL/TLS

    • SASL 认证

    • ACL 权限

相关推荐
一休哥助手3 小时前
Apache Flink:流处理革命的领导者与新一代大数据计算引擎
大数据·flink·apache
Hello.Reader4 小时前
Flink 有状态与时间敏感流处理从 Concepts 到 API 实战
大数据·flink
王嘉俊9256 小时前
Kafka 和 RabbitMQ 使用:消息队列的强大工具
java·分布式·中间件·kafka·消息队列·rabbitmq·springboot
cominglately6 小时前
kafka和rocketmq的副本机制区别: isr 主从模式,Dledger模式
分布式·kafka·rocketmq
qyt19885206 小时前
关于队列的比较(Kafka、RocketMQ、RabbitMQ)
kafka·rabbitmq·rocketmq
零千叶16 小时前
【面试】Kafka / RabbitMQ / ActiveMQ
面试·kafka·rabbitmq
Hello.Reader1 天前
Kafka 安全性认证、加密、授权与落地最佳实践
分布式·kafka
坐吃山猪1 天前
Kafka09-速答-尚硅谷
kafka
在未来等你1 天前
Kafka面试精讲 Day 24:Spring Kafka开发实战
java·spring boot·面试·kafka·消息队列·spring kafka·@kafkalistener
程序员果子1 天前
Kafka 深度剖析:架构演进、核心概念与设计精髓
大数据·运维·分布式·中间件·架构·kafka