Kafka工具类

java 复制代码
package utils;

import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.connector.kafka.sink.KafkaRecordSerializationSchema;
import org.apache.flink.connector.kafka.sink.KafkaSink;
import org.apache.flink.connector.kafka.source.KafkaSource;
import org.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

/**
 * @Package utils.KafkaUtil
 * @Author xuang
 * @Date 2025/5/13 16:20
 * @description: kafka工具类
 */
public class KafkaUtil {
    public static KafkaSink<String> getKafkaProduct(String servers, String topic) {
        return KafkaSink.<String>builder()
                .setBootstrapServers(servers)
                .setRecordSerializer(KafkaRecordSerializationSchema.builder()
                        .setTopic(topic)
                        .setValueSerializationSchema(new SimpleStringSchema())
                        .build()
                )
                .build();
    }

    public static DataStreamSource<String> getKafkaConsumer(StreamExecutionEnvironment env, String servers, String topic) {
        // 配置 KafkaSource
        KafkaSource<String> source = KafkaSource.<String>builder()
                .setBootstrapServers(servers)
                .setTopics(topic)
                .setGroupId("flink-group")
                .setStartingOffsets(OffsetsInitializer.earliest())
                .setValueOnlyDeserializer(new SimpleStringSchema())
                .build();

        // 将 KafkaSource 添加到作业
        return env.fromSource(source, WatermarkStrategy.noWatermarks(), "Kafka Source");
    }
}

概述

KafkaUtil 是一个 Apache Flink 工具类,封装了 Kafka 作为数据源(Source)和数据汇(Sink)的常用操作,简化了 Flink 与 Kafka 集成的开发工作。

功能

实现细节

Kafka Sink 配置

Kafka Source 配置

最佳实践

  1. Kafka Sink​ - 将 Flink 数据流写入 Kafka

  2. Kafka Source​ - 从 Kafka 读取数据作为 Flink 数据源

  3. 使用 SimpleStringSchema 作为值的序列化器

  4. 支持多服务器配置

  5. 需要指定目标 topic

  6. 使用 SimpleStringSchema 作为值的反序列化器

  7. 从最早偏移量开始消费(earliest())

  8. 默认消费者组 ID 为 "flink-group"

  9. 不使用 watermark 策略

  10. 消费者组管理

    对于生产环境,建议在调用处自定义消费者组 ID,而不是使用默认的 "flink-group"

  11. 序列化扩展

    对于复杂数据类型,可以扩展此类支持自定义序列化/反序列化器

  12. 容错配置

    生产环境中应考虑添加以下配置:

    • 重试策略

    • 事务配置(精确一次语义)

    • 检查点配置

  13. 安全配置

    如果 Kafka 集群启用了安全认证,需要添加以下配置:

    • SSL/TLS

    • SASL 认证

    • ACL 权限

相关推荐
在未来等你几秒前
Kafka面试精讲 Day 14:集群扩容与数据迁移
大数据·分布式·面试·kafka·消息队列
村雨遥2 小时前
Flink 状态管理的核心能力
大数据·flink
c&0xff0011 小时前
Flink反压问题
网络·flink
在未来等你13 小时前
Kafka面试精讲 Day 8:日志清理与数据保留策略
大数据·分布式·面试·kafka·消息队列
江畔独步14 小时前
Flink TaskManager日志时间与实际时间有偏差
大数据·flink
echoyu.14 小时前
消息队列-初识kafka
java·分布式·后端·spring cloud·中间件·架构·kafka
cg.family18 小时前
Doris 消费kafka消息
kafka·doris
趴着喝可乐19 小时前
openEuler2403安装部署Kafka
kafka·openeuler
大数据点灯人19 小时前
【Flink】Flink Runtime 开发指南
大数据·flink
掘金-我是哪吒1 天前
分布式微服务系统架构第170集:Kafka消费者并发-多节点消费-可扩展性
分布式·微服务·架构·kafka·系统架构