checkpoint

PersistJiao2 天前
spark·checkpoint·rdd
Spark RDD Checkpoint 数据的保存机制在 Spark 中，RDD 的 checkpoint 是一种容错机制，用于将 RDD 的数据保存到可靠的存储系统（如 HDFS）中，以便在节点故障时可以从存储中重新加载数据，而不是重新计算依赖链。
这个程序猿可太秀了9 个月前
大数据·flink·checkpoint
Flink Checkpoint过程使用了 Chandy-Lamport 算法1. 正常流式处理（尚未Checkpoint）如下图，Topic 有两个分区，并行度也为 2，根据奇偶数
最笨的羊羊1 年前
flink sql·checkpoint·flink系列·深入理解ttl·应用ttl案例
Flink系列之：深入理解ttl和checkpoint，Flink SQL应用ttl案例Flink TTL（Time To Live）是一种机制，用于设置数据的过期时间，控制数据在内存或状态中的存活时间。通过设置TTL，可以自动删除过期的数据，从而释放资源并提高性能。
Stephen6Yang1 年前
大数据·flink·checkpoint
Flink-容错机制checkpoint“随时存档”确实恢复起来方便，可是需要我们不停地做存档操作。如果每处理一条数据就进行检查点的保存，当大量数据同时到来时，就会耗费很多资源来频繁做检查点，数据处理的速度就会受到影响。所以在Flink中，检查点的保存是周期性触发的，间隔时间可以进行设置。
一瓢一瓢的饮 alanchan1 年前
sql·flink·flink table·flink sql·flink 流批一体化·flink 实时计算·checkpoint
Flink（十四）Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性Flink（一）1.12.7或1.13.5详细介绍及本地安装部署、验证 Flink（二）1.13.5二种部署方式(Standalone、Standalone HA )、四种提交任务方式（前两种及session和per-job）验证详细步骤 Flink（三）flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream详细示例入门和提交任务至on yarn运行 Flink（四）介绍Flink的流批一体、transformations的18种算子详细介绍、Flink与