Flink 状态精准一次性特性

Flink 的一个重大价值在于, 它既保证了 exactly-once ,也具有低延迟和高吞吐
的处理能力
1.端到端(End-To-End)状态一致性
端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每
一个组件都保证了它自己的一致性,整个端到端的一致性级别取决于所有组件中一
致性最弱的组件.
具体划分:

  1. 内部保证 ------ 依赖 checkpoint。
    2.source 端 ------ 需要外部源可重设数据的读取位置。
    3.sink 端 ------ 需要保证从故障恢复时,数据不会重复写入外部系统
相关推荐
csgo打的菜又爱玩41 分钟前
1.JobManager启动流程解析.md
大数据·flink·源代码管理
蓝魔Y8 小时前
Flink CDC—数据同步
flink
juniperhan8 小时前
Flink 系列第10篇:Flink 分布式缓存详解
分布式·缓存·flink
武子康11 小时前
大数据-269 实时数仓-Flink+HBase+DIM层数据处理实战:构建地区维度数据仓库
大数据·后端·flink
lifallen1 天前
Flink Checkpoint 流程、Barrier 流动与 RocksDB 排障
java·大数据·flink
lifallen1 天前
一篇文章讲透 Flink State
大数据·数据库·python·flink
csgo打的菜又爱玩1 天前
3.HAService启动流程解析
flink
大大大大晴天️1 天前
Flink技术实践-FlinkSQL Join技术全解
大数据·flink
csgo打的菜又爱玩1 天前
4.BlobServer 源码解析
大数据·架构·flink
tian_jiangnan1 天前
flink mysql集群增删改查
大数据·mysql·flink