Flink 1.14.* 版本kafkaSink源码

通过Flink 1.14.*版本kafkaSource源码,了解了kafkaSource的源码,这里一起看一下kafkaSink的源码,

一、如何把sink加入到Flink中

首先先找一个类继承FlinkKafkaProducerBase这个抽象类,之后加入到dataStream中就可以了

如下:

java 复制代码
DataStream<Tuple2<String, Integer>> dataStream = source的数据
dataStream..addSink(继承了FlinkKafkaProducerBase的实现类)

二、FlinkKafkaProducerBase的源码

java 复制代码
@Internal
public abstract class FlinkKafkaProducerBase<IN> extends RichSinkFunction<IN> implements CheckpointedFunction {
    public FlinkKafkaProducerBase(String defaultTopicId, KeyedSerializationSchema<IN> serializationSchema, Properties producerConfig, FlinkKafkaPartitioner<IN> customPartitioner) {
        //省略
    }
    //这个是关键,这个是发送的执行逻辑
    public void invoke(IN next, Context context) throws Exception {
        byte[] serializedKey = this.schema.serializeKey(next);
        byte[] serializedValue = this.schema.serializeValue(next);
        String targetTopic = this.schema.getTargetTopic(next);

        if (this.flinkKafkaPartitioner == null) {
            record = new ProducerRecord(targetTopic, serializedKey, serializedValue);
        } else {
            record = new ProducerRecord(targetTopic, this.flinkKafkaPartitioner.partition(next, serializedKey, serializedValue, targetTopic, partitions), serializedKey, serializedValue);
        }

        this.producer.send(record, this.callback);
    }    
}    

其中invoke是父类RichSinkFunction实现的接口SinkFunction中的方法

三、调用SinkFunction的invoke的地方

java 复制代码
@Public
public class DataStream<T> {
    public DataStreamSink<T> addSink(SinkFunction<T> sinkFunction) {
        this.transformation.getOutputType();
        if (sinkFunction instanceof InputTypeConfigurable) {
            ((InputTypeConfigurable)sinkFunction).setInputType(this.getType(), this.getExecutionConfig());
        }
        //这个生成sink算子
        StreamSink<T> sinkOperator = new StreamSink((SinkFunction)this.clean(sinkFunction));
        DataStreamSink<T> sink = new DataStreamSink(this, sinkOperator);
        this.getExecutionEnvironment().addOperator(sink.getLegacyTransformation());
        return sink;
    }

} 

和kafkaSource一样,会把sinkFunction赋值给AbstractUdfStreamOperator的userFunction字段

java 复制代码
public class StreamSink<IN> extends AbstractUdfStreamOperator<Object, SinkFunction<IN>> implements OneInputStreamOperator<IN, Object> {
    public StreamSink(SinkFunction<IN> sinkFunction) {
        super(sinkFunction);
        this.chainingStrategy = ChainingStrategy.ALWAYS;
    }
    public void processElement(StreamRecord<IN> element) throws Exception {
        this.sinkContext.element = element;
        ((SinkFunction)this.userFunction).invoke(element.getValue(), this.sinkContext);
    }
}
java 复制代码
@PublicEvolving
public abstract class AbstractUdfStreamOperator<OUT, F extends Function> extends AbstractStreamOperator<OUT> implements OutputTypeConfigurable<OUT> {
    private static final long serialVersionUID = 1L;
    protected final F userFunction;

    public AbstractUdfStreamOperator(F userFunction) {
        this.userFunction = (Function)Objects.requireNonNull(userFunction);
        this.checkUdfCheckpointingPreconditions();
    }
}

这里StreamSink也是实现了implements OneInputStreamOperator接口,等Flink运行时调用StreamSink的processElement方法触发实现类的invoke方法,

下面是FlinkKafkaProducerBase类关系图

相关推荐
yyk333242 小时前
Flink详细讲解
大数据·flink
且从容.9 天前
ubuntu安装flink
linux·ubuntu·flink
用户36105886261212 天前
Flink 内存分配源码深度剖析:从启动计算到运行时动态分配的完整链路
大数据·flink
Thomas214314 天前
flink paimon 参数 ignore_progress=true
大数据·flink
源图客14 天前
Apache Flink 2.3.0(最新版本)
大数据·flink·apache
abigalexy15 天前
Flink核心疑难问题、踩坑盲点-汇总
大数据·flink·big data·bigdata
Sayai15 天前
Kafka 跨数据中心日志同步实战:MirrorMaker 2 选型对比 + Flink 中继任务落地(双中心互备与消费者组隔离避坑)
大数据·运维·分布式·flink·kafka·消息队列·高可用
渣渣盟16 天前
Flink 状态管理深度剖析:从 KeyedState 到 RocksDB,状态如何存储、恢复与扩缩容
android·大数据·flink
@小匠17 天前
Flink + Iceberg 批量失败复盘:一次超时如何变成 Hive Metastore 锁泄漏
大数据·hive·flink
Sayai17 天前
Flink 日志解析任务性能优化实战:正则/Grok 预编译、Guava 缓存权重陷阱与 ES 写入隔离
java·大数据·性能优化·flink·实时计算