大数据-玩转数据-FLINK-从kafka消费数据

一、基于前面kafka部署

大数据-玩转数据-Kafka安装

二、FLINK中编写代码

powershell 复制代码
package com.lyh.flink04;

import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;

import java.util.Properties;

public class flink04_fromkafka {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        Properties properties = new Properties();
        properties.setProperty("bootstrap.servers","hadoop100:9092");
        properties.setProperty("group.id","test");
        env.addSource(new FlinkKafkaConsumer<>("wordsendertest",new SimpleStringSchema(),properties))
                .print();
        env.execute();


    }
}

三、运行测试

运行本段代码,等待kafka产生数据进行消费。

相关推荐
hnult几秒前
全功能学练考证在线考试平台,赋能技能认证
大数据·人工智能·笔记·课程设计
Gofarlic_oms143 分钟前
通过Kisssoft API接口实现许可证管理自动化集成
大数据·运维·人工智能·分布式·架构·自动化
电商API&Tina44 分钟前
电商数据采集 API 接口 全维度解析(技术 + 商业 + 合规)
java·大数据·开发语言·数据库·人工智能·json
雨大王5121 小时前
工业大数据平台:释放数据价值,驱动制造业高质量发展
大数据
瑞华丽PLM1 小时前
破局“多品种、小批量”:瑞华丽 PLM 赋能汽车零部件企业精益研发与智能制造
大数据·汽车·制造·plm·国产plm·瑞华丽plm·瑞华丽
what丶k1 小时前
深度解析:以Kafka为例,消息队列消费幂等性的实现方案与生产实践
java·数据结构·kafka
王锋(oxwangfeng)1 小时前
Apache Flink 在 Kubernetes 上的高效部署与优化实践
flink·kubernetes·apache
跨境卫士情报站1 小时前
TikTok跨境电商第二增长曲线:从“跑量”到“跑利润”的精细化运营
大数据·人工智能·产品运营·跨境电商·tiktok·营销策略
Data-Miner1 小时前
集团数字化转型采购供应链及财务管控业务流程蓝图规划方案(170页PPT)
大数据
志凌海纳SmartX2 小时前
金融行业IT基础设施转型实践|450+机构部署轻量云,支持核心生产与信创业务
大数据·数据库·金融