【Flink学习】(三)Flink 数据源详解,主流 Source 数据读取

内置数据源、文件数据源、网络数据源、Kafka 主流数据源、自定义数据源

二、内置数据源

1、集合数据源:本地测试推荐此类

java 复制代码
List<String> dataList = Arrays.asList("java","flink","spark");
DataStreamSource<String> listStream = env.fromCollection(dataList);

2、元素直接创建数据源

java 复制代码
DataStreamSource<String> elementStream = env.fromElements("张三","李四","王五");

3、Socket 网络数据源:实时流式测试常用

java 复制代码
DataStreamSource<String> socketStream = env.socketTextStream("localhost", 8888);

三、文件数据源

1、读取本地单行文本文件

2、读取 HDFS 分布式文件

3、区分有界流(文件)、无界流(实时数据流)

四、Kafka 数据源(重点-企业核心)

Flink 对接 Kafka 消费实时数据,配置消费者组、主题、序列化方式,实现实时读取消息队列数据

五、数据源使用场景选择

本地测试:集合、元素、Socket 数据源

离线分析:本地文件、HDFS 文件

线上实时业务:统一使用 Kafka 数据源

相关推荐
大大大大晴天1 小时前
每天认识一个组件:VictoriaLogs
大数据
学长毕设4 小时前
基于SpringBoot 博物馆文物租赁及修复管理系统-附源码
大数据·数据库·spring boot
玖米GEO运营王总监6 小时前
成都AI数字人视频怎么批量生产?流程与合规标注
大数据·人工智能·音视频
龙腾AI白云8 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
starzy199010 小时前
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
大数据·spark
大大大大晴天20 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界1 天前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天1 天前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城1 天前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk5551 天前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch