【Flink-scala】DataStream编程模型总结

系列文章目录

1.【Flink-Scala】DataStream编程模型之数据源、数据转换、数据输出

2.【Flink-scala】DataStream编程模型之 窗口的划分-时间概念-窗口计算程序

3.【Flink-scala】DataStream编程模型之窗口计算-触发器-驱逐器

4.【Flink-scala】DataStream编程模型之水位线

5.【Flink-scala】DataStream编程模型之延迟数据处理

6.【Flink-scala】DataStream编程模型之状态编程

文章目录


总结

DataStream API是Flink的核心,因为Flink和其他计算框架(比如Spark、MapReduce等)相比,其最大的优势就在于强大的流计算功能。本章首先介绍了在使用DataStream接口编程中的基本操作,包括数据源、数据转换、数据输出、窗口的划分等。

对于流式数据处理,最大的特点是数据上具有时间的属性特征,Flink根据时间产生位置的不同,将时间划分为三种,分别为事件生成时间、时间接入时间和事件处理时间,本章内容对三种时间概念进行了详细介绍。

窗口计算时流式计算中非常常用的数据计算方式之一,通过按照固定时间或长度将数据流切分成不同的窗口,然后对数据进行相应的聚合计算,就可以得到一定时间范围内的统计结果。本章内容介绍了窗口的型以及窗口计算函数。

通常情况下,由于网络或者系统等外部因素的影响三种类,事件数据往往不能及时传输至Flink系统中,从而导致数据乱序到达或者延迟到达的问题。本章介绍了如何采用水位线机制解决这类问题。本章最后介绍了有状态计算的编程方法。

相关推荐
GIS数据转换器4 小时前
城市基础设施安全运行监管平台
大数据·运维·人工智能·物联网·安全·无人机·1024程序员节
搞科研的小刘选手5 小时前
【云计算专题会议】第二届云计算与大数据国际学术会议(ICCBD 2025)
大数据·人工智能·物联网·5g·云计算·6g·智能通信
电商软件开发 小银5 小时前
微信生态新机遇:视频号推客模式助力商家突围
大数据·人工智能·twitter·系统开发·实体店转型·数字化经济·视频号推客模式
毕设源码-赖学姐6 小时前
【开题答辩全过程】以基于Hadoop的电商数据分析系统为例,包含答辩的问题和答案
大数据·hadoop·分布式·1024程序员节
汤姆yu6 小时前
基于python大数据技术的医疗数据分析与研究
大数据·1024程序员节·医疗数据分析·医疗预测
小马哥编程6 小时前
【软考架构】架构风格:RAG知识库是属于软件八大架构风格中的哪一个,黑板架构风格 ?规则系统体系风格?
大数据·计算机网络·架构·1024程序员节
萤丰信息6 小时前
慧园区:科技赋能下的城市空间新范式
大数据·科技·安全·重构·智慧城市·智慧园区
数据科学作家7 小时前
如何入门python机器学习?金融从业人员如何快速学习Python、机器学习?机器学习、数据科学如何进阶成为大神?
大数据·开发语言·人工智能·python·机器学习·数据分析·统计分析
小鹿学程序8 小时前
搭建虚拟机完全分布式(centos)
大数据
lisw0510 小时前
对遗传学进行机器学习的现状与展望!
大数据·人工智能·机器学习