Flink 状态精准一次性特性

Flink 的一个重大价值在于, 它既保证了 exactly-once ,也具有低延迟和高吞吐
的处理能力
1.端到端(End-To-End)状态一致性
端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每
一个组件都保证了它自己的一致性,整个端到端的一致性级别取决于所有组件中一
致性最弱的组件.
具体划分:

  1. 内部保证 ------ 依赖 checkpoint。
    2.source 端 ------ 需要外部源可重设数据的读取位置。
    3.sink 端 ------ 需要保证从故障恢复时,数据不会重复写入外部系统
相关推荐
晴天彩虹雨16 小时前
Flink 数据清洗与字段标准化最佳实践
大数据·数据仓库·flink
24k小善19 小时前
Flink TaskManager详解
java·大数据·flink·云计算
Flink_China1 天前
抖音集团电商流量实时数仓建设实践
大数据·flink
24k小善1 天前
FlinkUDF用户自定义函数深度剖析
java·大数据·spring·flink·云计算
Apache Flink2 天前
京东物流基于Flink & StarRocks的湖仓建设实践
java·大数据·flink
董可伦2 天前
Flink 源码编译
大数据·flink·源码
南客先生2 天前
海量聊天消息处理:ShardingJDBC分库分表、ClickHouse冷热数据分离、ES复合查询方案、Flink实时计算与SpringCloud集成
java·clickhouse·elasticsearch·flink·springcloud·shardingjdbc
背着黄油面包的猫2 天前
速通FlinkCDC3.0
数据库·mysql·flink
TDengine (老段)2 天前
TDengine 流计算引擎设计
大数据·数据库·物联网·flink·时序数据库·tdengine·涛思数据
晴天彩虹雨2 天前
实时数仓体系概览与架构演进
数据仓库·clickhouse·架构·flink·kafka