Kafka与Flink的整合 -- sink、source

1、首先导入依赖:
复制代码
        <dependency>

            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka</artifactId>
            <version>1.15.2</version>

        </dependency>
2、 source:Flink从Kafka中读取数据
java 复制代码
public class Demo01KafkaSource {
    public static void main(String[] args) throws Exception{
        //构建环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        //构建kafka source 环境

        KafkaSource<String> source = KafkaSource.<String>builder()
                //指定broker列表
                .setBootstrapServers("master:9092,node1:9092,node2:9092")
                //指定topic
                .setTopics("bigdata")
                //指定消费组
                .setGroupId("my-group")
                //指定数据的读取的位置,earliest指的是读取最早的数据,latest:指定的读取的是最新的数据
                .setStartingOffsets(OffsetsInitializer.earliest())
                //读取数据格式:
                .setValueOnlyDeserializer(new SimpleStringSchema())
                .build();
                //使用kafka数据源
        DataStreamSource<String> kafkaSourceDS = env.
                fromSource(source, WatermarkStrategy.noWatermarks(), "Kafka Source");

        kafkaSourceDS.print();
        //启动flink
        env.execute();

    }
}
启动生产kafka:
复制代码
kafka-console-producer.sh --broker-list master:9092,node1:9092,node2:9092 --topic bigdata
3、sink:Flink向Kafka中写入数据
java 复制代码
public class Demo02KafkaSink {
    public static void main(String[] args) throws Exception{
        //构建flink的环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //读取数据文件:
        DataStreamSource<String> studentDS = env.readTextFile("flink/data/students.txt");

        //创建kafka sink
        KafkaSink<String> sink = KafkaSink.<String>builder()
                //指定flink broker列表
                .setBootstrapServers("master:9092,node1:9092,node2:9092")
                //指定数据的格式:
                .setRecordSerializer(KafkaRecordSerializationSchema.builder()
                        //指定topic,如果topic不存在就会自动的创建一个分区是1个副本是1个的topic
                        .setTopic("student")
                        //指定数据的格式
                        .setValueSerializationSchema(new SimpleStringSchema())
                        .build()
                )
                //指定数据处理的语义:
                .setDeliverGuarantee(DeliveryGuarantee.AT_LEAST_ONCE)
                .build();
        //执行flink
        studentDS.sinkTo(sink);
        //构建flink环境
        env.execute();
    }
}
启动消费kafka:
java 复制代码
kafka-console-consumer.sh --bootstrap-server  master:9092,node1:9092,node2:9092 --from-beginning --topic student
相关推荐
星辰离彬22 分钟前
Java 与 MySQL 性能优化:MySQL连接池参数优化与性能提升
java·服务器·数据库·后端·mysql·性能优化
张璐月3 小时前
mysql join语句、全表扫描 执行优化与访问冷数据对内存命中率的影响
数据库·mysql
全干engineer5 小时前
ClickHouse 入门详解:它到底是什么、优缺点、和主流数据库对比、适合哪些场景?
数据库·clickhouse
Hellyc7 小时前
基于模板设计模式开发优惠券推送功能以及对过期优惠卷进行定时清理
java·数据库·设计模式·rocketmq
lifallen7 小时前
Paimon LSM Tree Compaction 策略
java·大数据·数据结构·数据库·算法·lsm-tree
{⌐■_■}11 小时前
【Kafka】登录日志处理的三次阶梯式优化实践:从同步写入到Kafka多分区批处理
数据库·分布式·mysql·kafka·go
isNotNullX11 小时前
数据中台架构解析:湖仓一体的实战设计
java·大数据·数据库·架构·spark
睿思达DBA_WGX14 小时前
由 DB_FILES 参数导致的 dg 服务器无法同步问题
运维·数据库·oracle
袋鼠云数栈15 小时前
使用自然语言体验对话式MySQL数据库运维
大数据·运维·数据库·后端·mysql·ai·数据治理·数栈·data+ai