Flink学习(二)-基础概念

一、流处理

分为有界流(bounded stream )和无界流(unbounded stream)。

通过上图 ,可以知道,

有界流:有明显的边界;而无界流,则只有开始,没有结束。

批处理是有界数据流处理的范例。在这种模式下,你可以选择在计算结果输出之前输入整个数据集,这也就意味着你可以对整个数据集的数据进行排序、统计或汇总计算后再输出结果。

流处理正相反,其涉及无界数据流。至少理论上来说,它的数据输入永远不会结束,因此程序必须持续不断地对到达的数据进行处理。

由 source 开始、经过自定义算子转换(Transformation)成的 dataflow后,以一个或者多个 sink 结束。

三、算子之间数据传输方式

1,一对一直传)模式

可以保留元素的分区和顺序信息,即同一分区的数据只会进入到下游算子的同一分区。

2,重新分发模式

会更改数据所在的流分区。当你在程序中选择使用不同的 transformation ,每个算子子任务也会根据不同的 transformation 将数据发送到不同的目标子任务。

常见的数据分发模式

  • keyBy()(通过散列键重新分区);
  • broadcast()(广播);
  • rebalance()(随机重新分发)

四、自定义时间流处理

关注事件本身发生的顺序而不是事件被传输以及处理的顺序;

记录在数据流中的事件时间的时间戳,而不是处理数据的机器时钟的时间戳。

五,有状态流处理

意味着如何处理一个事件可能取决于该事件之前所有事件数据的累积结果。有状态算子的并行实例组在存储其对应状态时通常是按照键(key)进行分片存储的。每个并行实例算子负责处理一组特定键的事件数据,并且这组键对应的状态会保存在本地。

六,通过状态快照实现的容错

通过状态快照和流重放两种方式的组合,Flink 能够提供可容错的,精确一次计算的语义。这些状态快照在执行时会获取并存储分布式 pipeline 中整体的状态,它会将数据源中消费数据的偏移量记录下来,并将整个 job graph 中算子获取到该数据(记录的偏移量对应的数据)时的状态记录并存储下来。当发生故障时,Flink 作业会恢复上次存储的状态,重置数据源从状态中记录的上次消费的偏移量开始重新进行消费处理。而且状态快照在执行时会异步获取状态并存储,并不会阻塞正在进行的数据处理逻辑。

相关推荐
阿里云大数据AI技术1 天前
淘天集团基于 Fluss、Paimon 与 StarRocks 构建湖流一体数据链路
大数据·人工智能·flink
Flink_China3 天前
Flink OSS CDC: 让AI多模态数据处理实时化
flink
放学-别走3 天前
flink和kafka常见面试题
大数据·flink·kafka
阿里云大数据AI技术3 天前
分链路差异化设计的DSP准实时数仓|钛动科技基于阿里云实时计算 Flink 版 + DLF Paimon + EMR Serverless StarRocks 的实践
人工智能·flink
空杆推不起5 天前
穿透 Flink CDC 表层用法:数据库日志捕获机制、Flink Source 运行时、端到端一致性底层原理详解
大数据·数据库·flink
tian_jiangnan8 天前
Flink 流计算进阶:手写一套通用的 Redis/MySQL /Kafka数据源封装工具类
redis·mysql·flink
abcy07121312 天前
flink datastream调用8种分区策略实例
flink
yqj23414 天前
Flink集群配置与部署全攻略
大数据·flink
abcy07121314 天前
spark核心组件
flink·spark