Flink 状态精准一次性特性

Flink 的一个重大价值在于, 它既保证了 exactly-once ,也具有低延迟和高吞吐
的处理能力
1.端到端(End-To-End)状态一致性
端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每
一个组件都保证了它自己的一致性,整个端到端的一致性级别取决于所有组件中一
致性最弱的组件.
具体划分:

  1. 内部保证 ------ 依赖 checkpoint。
    2.source 端 ------ 需要外部源可重设数据的读取位置。
    3.sink 端 ------ 需要保证从故障恢复时,数据不会重复写入外部系统
相关推荐
杂家1 小时前
Hudi集成Flink
大数据·flink·eclipse
CappuccinoRose16 小时前
流计算概述
python·flink·流计算·数据流·pyflink
yumgpkpm16 小时前
AI评判:信创替代对Cloudera CDH CDP Hadoop大数据平台有何影响?
大数据·hive·oracle·flink·kafka·hbase·cloudera
Hello.Reader20 小时前
PyFlink 向量化 UDF(Vectorized UDF)Arrow 批传输原理、pandas 标量/聚合函数、配置与内存陷阱、五种写法一网打尽
python·flink·pandas
虫小宝1 天前
导购电商平台用户行为分析系统:基于Flink的实时数据处理架构
大数据·架构·flink
驾数者1 天前
Flink SQL格式集成:JSON、Avro、Protobuf序列化详解
sql·flink·json
国强_dev1 天前
Flink适用场景的业务特点分析
大数据·flink
Jackeyzhe3 天前
Flink源码阅读:双流操作
flink
Hello.Reader3 天前
Flink Table/SQL 自定义 Connector从 DDL 元数据到运行时 Source/Sink(含 Socket 全栈例子拆解)
大数据·sql·flink
Jackyzhe3 天前
Flink源码阅读:Task数据交互
大数据·flink