【Flink-scala】DataStream编程模型总结

系列文章目录

1.【Flink-Scala】DataStream编程模型之数据源、数据转换、数据输出

2.【Flink-scala】DataStream编程模型之 窗口的划分-时间概念-窗口计算程序

3.【Flink-scala】DataStream编程模型之窗口计算-触发器-驱逐器

4.【Flink-scala】DataStream编程模型之水位线

5.【Flink-scala】DataStream编程模型之延迟数据处理

6.【Flink-scala】DataStream编程模型之状态编程

文章目录


总结

DataStream API是Flink的核心,因为Flink和其他计算框架(比如Spark、MapReduce等)相比,其最大的优势就在于强大的流计算功能。本章首先介绍了在使用DataStream接口编程中的基本操作,包括数据源、数据转换、数据输出、窗口的划分等。

对于流式数据处理,最大的特点是数据上具有时间的属性特征,Flink根据时间产生位置的不同,将时间划分为三种,分别为事件生成时间、时间接入时间和事件处理时间,本章内容对三种时间概念进行了详细介绍。

窗口计算时流式计算中非常常用的数据计算方式之一,通过按照固定时间或长度将数据流切分成不同的窗口,然后对数据进行相应的聚合计算,就可以得到一定时间范围内的统计结果。本章内容介绍了窗口的型以及窗口计算函数。

通常情况下,由于网络或者系统等外部因素的影响三种类,事件数据往往不能及时传输至Flink系统中,从而导致数据乱序到达或者延迟到达的问题。本章介绍了如何采用水位线机制解决这类问题。本章最后介绍了有状态计算的编程方法。

相关推荐
武子康42 分钟前
大数据-114 Flink DataStreamAPI 从 SourceFunction 到 RichSourceFunction 源函数的增强与实战
大数据·后端·flink
IvanCodes1 小时前
八、Scala 集合与函数式编程
大数据·开发语言·scala
RunningShare2 小时前
云原生时代的数据流高速公路:深入解剖Apache Pulsar的架构设计哲学
大数据·中间件·apache·pulsar
杨超越luckly3 小时前
HTML应用指南:利用POST请求获取全国中国工商农业银行网点位置信息
大数据·前端·html·数据可视化·银行网点
IT学长编程3 小时前
计算机毕业设计 基于Hadoop的信贷风险评估的数据可视化分析与预测系统 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·毕业设计·课程设计·毕业论文·信贷风险评估的可视化分析与预测·hadoop大数据
semantist@语校4 小时前
语校网500所里程碑:日本语言学校数据库的标准化与可追溯机制
大数据·数据库·人工智能·百度·语言模型·oracle·github
key065 小时前
数据安全能力成熟度模型 (DSMM) 核心要点
大数据·人工智能
武子康5 小时前
Java-138 深入浅出 MySQL Spring Boot 事务传播机制全解析:从 REQUIRED 到 NESTED 的实战详解 传播机制原理
java·大数据·数据库·spring boot·sql·mysql·事务
孟意昶6 小时前
Spark专题-第三部分:性能监控与实战优化(2)-分区优化
大数据·分布式·sql·性能优化·spark·big data
AI数据皮皮侠13 小时前
中国各省森林覆盖率等数据(2000-2023年)
大数据·人工智能·python·深度学习·机器学习