Flink 状态精准一次性特性

Flink 的一个重大价值在于, 它既保证了 exactly-once ,也具有低延迟和高吞吐
的处理能力
1.端到端(End-To-End)状态一致性
端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每
一个组件都保证了它自己的一致性,整个端到端的一致性级别取决于所有组件中一
致性最弱的组件.
具体划分:

  1. 内部保证 ------ 依赖 checkpoint。
    2.source 端 ------ 需要外部源可重设数据的读取位置。
    3.sink 端 ------ 需要保证从故障恢复时,数据不会重复写入外部系统
相关推荐
undo_try2 分钟前
大数据组件(四)快速入门实时数据湖存储系统Apache Paimon(2)
flink·bigdata·paimon
roman_日积跬步-终至千里1 天前
【Flink 实战】Flink 中 Akka 通信与内存占用分析
大数据·flink
抛砖者1 天前
8. Flink-CDC
flink·flink-cdc
码上淘金1 天前
Apache Flink架构深度解析:任务调度、算子数据同步与TaskSlot资源管理机制
大数据·架构·flink
roman_日积跬步-终至千里1 天前
【Flink实战】Flink网络内存和托管内存
服务器·网络·flink
Ray.19981 天前
优化 Flink 消费 Kafka 数据的速度:实战指南
大数据·flink·kafka
D愿你归来仍是少年1 天前
Python解析 Flink Job 依赖的checkpoint 路径
大数据·python·flink
viperrrrrrrrrr72 天前
大数据学习(49) - Flink按键分区状态(Keyed State)
大数据·学习·flink
不是谁只是我3 天前
学习kafka和flink
学习·flink·kafka
Apache Flink3 天前
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
大数据·flink