Flink 状态精准一次性特性

Flink 的一个重大价值在于, 它既保证了 exactly-once ,也具有低延迟和高吞吐
的处理能力
1.端到端(End-To-End)状态一致性
端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每
一个组件都保证了它自己的一致性,整个端到端的一致性级别取决于所有组件中一
致性最弱的组件.
具体划分:

  1. 内部保证 ------ 依赖 checkpoint。
    2.source 端 ------ 需要外部源可重设数据的读取位置。
    3.sink 端 ------ 需要保证从故障恢复时,数据不会重复写入外部系统
相关推荐
代码匠心19 小时前
从零开始学Flink:流批一体的执行模式
java·大数据·后端·flink·大数据处理
鸿儒之观1 天前
dinky提交flink任务报 java.lang.OutOfMemoryError: Direct buffer memory
大数据·flink
武子康1 天前
大数据-123 - Flink 并行度设置优先级讲解 原理、配置与最佳实践 从Kafka到HDFS的案例分析
大数据·后端·flink
Hello.Reader2 天前
Flink 状态模式演进(State Schema Evolution)从原理到落地的一站式指南
python·flink·状态模式
武子康2 天前
大数据-122 - Flink Watermark 全面解析:事件时间窗口、乱序处理与迟到数据完整指南
大数据·后端·flink
Hello.Reader2 天前
Flink 状态后端(State Backends)实战原理、选型、配置与调优
大数据·flink
还是大剑师兰特3 天前
Flink面试题及详细答案100道(61-80)- 时间与窗口
flink·大剑师·flink面试题
武子康3 天前
大数据-121 - Flink 时间语义详解:EventTime、ProcessingTime、IngestionTime 与 Watermark机制全解析
大数据·后端·flink
戚砚笙3 天前
Flink进阶:从“会用”到“用明白”的踩坑与实战总结
flink
武子康4 天前
大数据-120 - Flink滑动窗口(Sliding Window)详解:原理、应用场景与实现示例 基于时间驱动&基于事件驱动
大数据·后端·flink