Flink 状态精准一次性特性

Flink 的一个重大价值在于, 它既保证了 exactly-once ,也具有低延迟和高吞吐
的处理能力
1.端到端(End-To-End)状态一致性
端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每
一个组件都保证了它自己的一致性,整个端到端的一致性级别取决于所有组件中一
致性最弱的组件.
具体划分:

  1. 内部保证 ------ 依赖 checkpoint。
    2.source 端 ------ 需要外部源可重设数据的读取位置。
    3.sink 端 ------ 需要保证从故障恢复时,数据不会重复写入外部系统
相关推荐
驾数者8 小时前
Flink SQL入门指南:从零开始搭建流处理应用
大数据·sql·flink
KM_锰8 小时前
flink开发遇到的问题
大数据·flink
Hello.Reader18 小时前
Flink 流式计算的状态之道从 Table/SQL 语义到算子状态与 TTL 精准控制
sql·flink·linq
青云交1 天前
Java 大视界 -- 基于 Java 的大数据实时流处理在能源行业设备状态监测与故障预测中的应用
flink·lstm·设备状态监测·故障预测·实时流处理·java 大数据·能源行业
努力成为一个程序猿.1 天前
Flink集群部署以及作业提交模式详解
大数据·flink
努力成为一个程序猿.1 天前
【Flink】FlinkSQL-动态表和持续查询概念
大数据·数据库·flink
J-JunLiang1 天前
Flink 实时开发:关键知识点
大数据·flink
yumgpkpm1 天前
Doris在CMP7(类Cloudera CDP 7 404版华为Kunpeng)启用 Kerberos部署Doris
大数据·hive·hadoop·python·oracle·flink·cloudera
yumgpkpm2 天前
CMP7(类Cloudera CMP 7 404版华为Kunpeng)用开源软件Label Studio做数据标注
hdfs·flink