Flink 状态精准一次性特性

Flink 的一个重大价值在于, 它既保证了 exactly-once ,也具有低延迟和高吞吐
的处理能力
1.端到端(End-To-End)状态一致性
端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每
一个组件都保证了它自己的一致性,整个端到端的一致性级别取决于所有组件中一
致性最弱的组件.
具体划分:

  1. 内部保证 ------ 依赖 checkpoint。
    2.source 端 ------ 需要外部源可重设数据的读取位置。
    3.sink 端 ------ 需要保证从故障恢复时,数据不会重复写入外部系统
相关推荐
mask哥2 天前
详解flink性能优化
java·大数据·微服务·性能优化·flink·kafka·stream
syty20202 天前
flink 伪代码
java·windows·flink
可以吧可以吧4 天前
自建es 通过Flink同步mysql数据 Docker Compose
mysql·elasticsearch·flink
BD_Marathon4 天前
【Flink】DataStream API:UDF和物理分区算子
android·大数据·flink
shinelord明4 天前
【大数据技术实战】Flink+DS+Dinky 自动化构建数仓平台
大数据·运维·分布式·架构·flink·自动化
IT果果日记4 天前
Flink+Dinky实现UDF自定义函数
大数据·后端·flink
mask哥5 天前
详解kafka streams(二)
java·大数据·微服务·flink·kafka·stream·流式操作
百度Geek说6 天前
百度网盘基于Flink的实时计算实践
数据分析·flink·云计算
BD_Marathon7 天前
【Flink】DataStream API (二)
大数据·flink