Flink 状态精准一次性特性

Flink 的一个重大价值在于, 它既保证了 exactly-once ,也具有低延迟和高吞吐
的处理能力
1.端到端(End-To-End)状态一致性
端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每
一个组件都保证了它自己的一致性,整个端到端的一致性级别取决于所有组件中一
致性最弱的组件.
具体划分:

  1. 内部保证 ------ 依赖 checkpoint。
    2.source 端 ------ 需要外部源可重设数据的读取位置。
    3.sink 端 ------ 需要保证从故障恢复时,数据不会重复写入外部系统
相关推荐
2501_941403763 小时前
Python高性能图像识别与TensorFlow实战分享:深度学习模型优化与批量推理经验
flink
Bug快跑-11 天前
面向高并发场景的多语言异构系统架构演进与性能优化策略深度解析实践分享全过程方法论探索
flink
Hello.Reader2 天前
在 Flink Standalone 集群上运行 Flink CDC从下载到跑起一个 MySQL→Doris 同步任务
大数据·mysql·flink
A尘埃2 天前
Flink实时数据处理
大数据·flink·实时数据处理
expect7g2 天前
Paimon源码解读 -- PartialUpdateMerge
大数据·后端·flink
yumgpkpm3 天前
腾讯云TBDS与CDH迁移常见问题有哪些?建议由CDH迁移到CMP 7.13 平台(类Cloudera CDP,如华为鲲鹏 ARM 版)
hive·hadoop·zookeeper·flink·spark·kafka·hbase
Hello.Reader3 天前
使用 Flink CDC 搭建跨库 Streaming ETLMySQL + Postgres → Elasticsearch 实战
大数据·elasticsearch·flink
❀͜͡傀儡师3 天前
docker 部署Flink和传统部署
docker·容器·flink
Linux Huang4 天前
【Dinky】IDEA运行出现HistoryServer异常
java·hadoop·flink·intellij idea
渣渣盟4 天前
Flink分布式文件Sink实战解析
分布式·flink·scala·1024程序员节