Flink 状态精准一次性特性

Flink 的一个重大价值在于, 它既保证了 exactly-once ,也具有低延迟和高吞吐
的处理能力
1.端到端(End-To-End)状态一致性
端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每
一个组件都保证了它自己的一致性,整个端到端的一致性级别取决于所有组件中一
致性最弱的组件.
具体划分:

  1. 内部保证 ------ 依赖 checkpoint。
    2.source 端 ------ 需要外部源可重设数据的读取位置。
    3.sink 端 ------ 需要保证从故障恢复时,数据不会重复写入外部系统
相关推荐
陆水A1 天前
【实时数仓·3】Flink多表JOIN状态爆炸——Event Time Temporal JOIN + TTL分层治理
大数据·数据仓库·数据分析·flink·数据库开发·bigdata
INGNIGHT1 天前
Flink 的三种一致性语义
大数据·flink·linq
大大大大晴天1 天前
Flink-HBase生产问题排查:NoClassDefFoundError
flink·hbase
大大大大晴天️1 天前
Flink-HBase生产问题排查:NoClassDefFoundError
大数据·flink·hbase
好家伙VCC1 天前
Delta Lake + Flink 实现近实时数据湖 Schema 演化
java·大数据·flink
lixia0417mul24 天前
flink接入spring体系
java·spring·flink
Volunteer Technology5 天前
Flink编程模型与API
大数据·flink
暴躁小师兄数据学院6 天前
【AI大数据工程师特训笔记】第16讲:大数据环境安装
大数据·hadoop·笔记·flink·spark·database
阿里云大数据AI技术6 天前
Skill即服务:用Agent安全玩转云上Flink
人工智能·flink