Flink 状态精准一次性特性

Flink 的一个重大价值在于, 它既保证了 exactly-once ,也具有低延迟和高吞吐
的处理能力
1.端到端(End-To-End)状态一致性
端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每
一个组件都保证了它自己的一致性,整个端到端的一致性级别取决于所有组件中一
致性最弱的组件.
具体划分:

  1. 内部保证 ------ 依赖 checkpoint。
    2.source 端 ------ 需要外部源可重设数据的读取位置。
    3.sink 端 ------ 需要保证从故障恢复时,数据不会重复写入外部系统
相关推荐
强哥叨逼叨1 天前
没经过我同意,flink window就把数据存到state里的了?
大数据·flink
董可伦2 天前
Dinky 安装部署并配置提交 Flink Yarn 任务
android·adb·flink
千叶真尹5 天前
基于Flink的用户画像 OLAP 实时数仓统计分析
flink
从头再来的码农7 天前
大数据Flink相关面试题(一)
大数据·flink
MarkHD8 天前
第四天 从CAN总线到Spark/Flink实时处理
大数据·flink·spark
SparkSql8 天前
FlinkCDC采集MySQL8.4报错
大数据·flink
james的分享8 天前
Flink之Table API
flink·table api
涤生大数据8 天前
带你玩转 Flink TumblingWindow:从理论到代码的深度探索
flink·理论·代码·tumblingwindow
Apache Flink9 天前
网易游戏 Flink 云原生实践
游戏·云原生·flink
SunTecTec10 天前
SQL Server To Paimon Demo by Flink standalone cluster mode
java·大数据·flink