技术栈
checkpoint
时差953
23 天前
java
·
大数据
·
flink
·
checkpoint
Flink四大基石之CheckPoint
State:状态,是Flink中某一个Operator在某一个时刻的状态,如maxBy/sum,注意State存的是历史数据/状态,存在内存中。
衣舞晨风
1 个月前
elasticsearch
·
checkpoint
·
sequence
·
primaryterm
[译]Elasticsearch Sequence ID实现思路及用途
原文地址:https://www.elastic.co/blog/elasticsearch-sequence-ids-6-0
PersistJiao
1 个月前
spark
·
checkpoint
·
rdd
Spark RDD Checkpoint 数据的保存机制
在 Spark 中,RDD 的 checkpoint 是一种容错机制,用于将 RDD 的数据保存到可靠的存储系统(如 HDFS)中,以便在节点故障时可以从存储中重新加载数据,而不是重新计算依赖链。
这个程序猿可太秀了
1 年前
大数据
·
flink
·
checkpoint
Flink Checkpoint过程
使用了 Chandy-Lamport 算法1. 正常流式处理(尚未Checkpoint)如下图,Topic 有两个分区,并行度也为 2,根据奇偶数
最笨的羊羊
1 年前
flink sql
·
checkpoint
·
flink系列
·
深入理解ttl
·
应用ttl案例
Flink系列之:深入理解ttl和checkpoint,Flink SQL应用ttl案例
Flink TTL(Time To Live)是一种机制,用于设置数据的过期时间,控制数据在内存或状态中的存活时间。通过设置TTL,可以自动删除过期的数据,从而释放资源并提高性能。
Stephen6Yang
1 年前
大数据
·
flink
·
checkpoint
Flink-容错机制checkpoint
“随时存档”确实恢复起来方便,可是需要我们不停地做存档操作。如果每处理一条数据就进行检查点的保存,当大量数据同时到来时,就会耗费很多资源来频繁做检查点,数据处理的速度就会受到影响。所以在Flink中,检查点的保存是周期性触发的,间隔时间可以进行设置。
一瓢一瓢的饮 alanchan
1 年前
sql
·
flink
·
flink table
·
flink sql
·
flink 流批一体化
·
flink 实时计算
·
checkpoint
Flink(十四)Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性
Flink(一)1.12.7或1.13.5详细介绍及本地安装部署、验证 Flink(二)1.13.5二种部署方式(Standalone、Standalone HA )、四种提交任务方式(前两种及session和per-job)验证详细步骤 Flink(三)flink重要概念(api分层、角色、执行流程、执行图和编程模型)及dataset、datastream详细示例入门和提交任务至on yarn运行 Flink(四)介绍Flink的流批一体、transformations的18种算子详细介绍、Flink与