大数据-玩转数据-FLINK-从kafka消费数据

一、基于前面kafka部署

大数据-玩转数据-Kafka安装

二、FLINK中编写代码

powershell 复制代码
package com.lyh.flink04;

import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;

import java.util.Properties;

public class flink04_fromkafka {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        Properties properties = new Properties();
        properties.setProperty("bootstrap.servers","hadoop100:9092");
        properties.setProperty("group.id","test");
        env.addSource(new FlinkKafkaConsumer<>("wordsendertest",new SimpleStringSchema(),properties))
                .print();
        env.execute();


    }
}

三、运行测试

运行本段代码,等待kafka产生数据进行消费。

相关推荐
今天我又学废了1 小时前
Spark,集群搭建-Standalone
大数据·分布式·spark
Json_181790144802 小时前
Alibaba国际站商品详情AP接口概述,json数据示例返回参考
大数据·数据库
timi先生4 小时前
在大数据环境下,使用spingboot为Android APP推送数据方案
android·大数据
viperrrrrrrrrr74 小时前
大数据学习(115)-hive与impala
大数据·hive·学习·impala
麻芝汤圆4 小时前
在 IDEA 中写 Spark 程序:从入门到实践
java·大数据·hadoop·分布式·安全·spark·intellij-idea
maomi_95265 小时前
MySQL 在 CentOS 7 环境下的安装教程
大数据·数据库·mysql
炒空心菜菜5 小时前
Spark 配置 YARN 模式
大数据·spark·yarn
凯子坚持 c6 小时前
从 0 到 1:ComfyUI AI 工作流抠图构建全实践
大数据·人工智能
什么芮.8 小时前
Kafka和flume整合
spark·kafka·flume
weixin_5498083613 小时前
以运营为核心的智能劳动力管理系统,破解连锁零售、制造业排班难题
大数据·人工智能·零售