flink generic log-based incremental checkpoints 设计

背景

flink 在1.15版本后开始提供generic log-based incremental checkpoints的检查点方案,目的在于减少checkpoint的耗时,尽量缩短端到端的数据处理延迟,本文就来看下这种新类型的checkpoint的设计

generic log-based incremental checkpoints 设计

generic log-based incremental checkpoints的设计主要是参考事务数据库的设计方案,总体来说就是insert、update、delete操作先记录到事务日志文件中,然后应用到DB数据文件中,通过这样的设计,相当于每时每刻状态操作都已经持久化到了事务日志中,遇到checkpoint barrier的时候也是只要确保barrier之前的修改操作已经记录到事务日志中即可,这样的话,整个checkpoint操作就会非常快,当然缺点也是显而易见,包括双写会导致状态操作的时延增加,状态的大小空间占用庞大,crash崩溃后恢复耗时增加等

相关推荐
没明白白29 分钟前
Redis 缓存雪崩、缓存穿透、缓存击穿详解
数据库·redis·缓存
gbase_lmax30 分钟前
gbase8s数据库常见的索引扫描方式
数据库
阳光九叶草LXGZXJ1 小时前
南大通用数仓-GCDW-学习-03-用户管理
linux·运维·数据库·学习
Islucas2 小时前
入门Django
数据库·django·sqlite
jnrjian2 小时前
update 强制 NEST_LOOP NL 的理解,被驱动表 inner table
数据库·sql·oracle
新知图书2 小时前
SQL Server 2022的数据类型
数据库·oracle
脑子不好真君3 小时前
MongoDB的备份和恢复命令
数据库·mongodb
武子康3 小时前
大数据-141 - ClickHouse 集群 副本和分片 Zk 的配置 Replicated MergeTree原理详解
java·大数据·clickhouse·flink·spark·scala
鲁鲁5173 小时前
梧桐数据库(WuTongDB):PostgreSQL 优化器简介
数据库·postgresql·梧桐数据库
极客先躯3 小时前
高级java每日一道面试题-2024年9月15日-架构篇[分布式篇]-如何在分布式系统中实现事务?
java·数据库·分布式·面试·架构·事务·分布式篇