Flink 状态精准一次性特性

Flink 的一个重大价值在于, 它既保证了 exactly-once ,也具有低延迟和高吞吐
的处理能力
1.端到端(End-To-End)状态一致性
端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每
一个组件都保证了它自己的一致性,整个端到端的一致性级别取决于所有组件中一
致性最弱的组件.
具体划分:

  1. 内部保证 ------ 依赖 checkpoint。
    2.source 端 ------ 需要外部源可重设数据的读取位置。
    3.sink 端 ------ 需要保证从故障恢复时,数据不会重复写入外部系统
相关推荐
abcy0712137 小时前
flink datastream调用8种分区策略实例
flink
yqj2342 天前
Flink集群配置与部署全攻略
大数据·flink
abcy0712132 天前
spark核心组件
flink·spark
Apache Flink3 天前
全模态入湖,把大模型接入实时湖仓:Flink OSS CDC + DLF Paimon 实现零代码以图搜图
大数据·flink
翔云1234564 天前
Kafka + Flink实时时流处理场景
flink·kafka
abcy0712135 天前
flink state实例
大数据·算法·flink
Flink_China5 天前
抖音集团基于Paimon的流式数据湖应用实践
大数据·flink
abcy0712135 天前
flink 对齐与非对齐,窗口,状态state原理详解
大数据·flink
大大大大晴天️5 天前
Flink DataStream API 进阶使用与避坑指南
大数据·flink
abcy0712136 天前
flink Task Slots and Resources详解
flink