Flink 状态精准一次性特性

Flink 的一个重大价值在于, 它既保证了 exactly-once ,也具有低延迟和高吞吐
的处理能力
1.端到端(End-To-End)状态一致性
端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每
一个组件都保证了它自己的一致性,整个端到端的一致性级别取决于所有组件中一
致性最弱的组件.
具体划分:

  1. 内部保证 ------ 依赖 checkpoint。
    2.source 端 ------ 需要外部源可重设数据的读取位置。
    3.sink 端 ------ 需要保证从故障恢复时,数据不会重复写入外部系统
相关推荐
jiajia_lisa9 小时前
助力国产化升级,全面提升道路监控效率
flink
渣渣盟1 天前
Flink并行数据源:ClickSource实现详解
flink·scala
渣渣盟1 天前
Flink单流转换算子实战解析
flink·scala
渣渣盟1 天前
Apache Flink物理分区算子全解析
大数据·flink·apache
csgo打的菜又爱玩1 天前
11.JobManager 启动流程总结
大数据·开发语言·qt·microsoft·flink
大大大大晴天️2 天前
Flink技术实践-Flink重启策略选型指南
java·大数据·flink
Justice Young2 天前
Flink第三章:Flink运行及部署
大数据·flink
Justice Young3 天前
Flink第四章:运行架构
大数据·flink
二十六画生的博客3 天前
每个subtask都提交一份快照到hdfs,会把10个小的快照合并成一个大的吗?谁来合并?
大数据·hadoop·hdfs·flink
juniperhan3 天前
Flink 系列第24篇:Flink SQL 集成维度表指南:存储选型、参数调优与实战避坑
大数据·数据仓库·sql·flink