技术栈
flink
梦里不知身是客11
4 小时前
大数据
·
服务器
·
flink
flink中checkpoint的重启策略
在Apache Flink中,检查点(Checkpoint) 是保障流处理任务容错性的核心机制,而重启策略(Restart Strategy) 则定义了任务失败后的恢复行为。二者协同工作,确保作业的持续性和状态一致性。以下是重启策略的常见类型及配置方法:
Jackeyzhe
4 小时前
flink
Flink学习笔记:窗口
在前文中,我们已经了解了 Flink 时间和 Watermark 两个概念,今天就来聊一下 Flink 实时数据处理的另一个核心概念:窗口。
Jackyzhe
14 小时前
笔记
·
学习
·
flink
Flink学习笔记:状态类型和应用
Flink 被广泛应用的原因,除了我们前面提到的对时间以及窗口的应用之外,另一点就是它强大的容错机制,以及对 Exactly Once 的支持。
expect7g
16 小时前
大数据
·
后端
·
flink
Flink 2.0--Delta Join
本文学习自Flink官方社区实时最大痛点:传统流式 Join 在面对海量数据和高基数 Key 时却遇到了瓶颈。问题在于2点
二进制_博客
16 小时前
flink
·
flinksql
FlinkSQL一篇文档讲清楚
Overview | Apache FlinkConcepts & Common API | Apache Flink
雨中飘荡的记忆
16 小时前
大数据
·
flink
·
apache
Apache Flink 实战
Apache Flink 是一个开源的分布式流处理框架,专为高吞吐量、低延迟的实时数据处理而设计。Flink 提供了精确一次(Exactly-Once)的状态一致性保证,是目前最流行的流计算引擎之一。
梦里不知身是客11
17 小时前
大数据
·
flink
flink解决反压的方法
在Apache Flink中处理反压(Backpressure)问题需结合系统设计和资源配置。以下是核心解决方法:
Hello.Reader
17 小时前
数据库
·
sql
·
flink
Flink SQL Window Join 把时间维度“写进” JOIN 条件里
官方的一句话概括:Window Join 在 join 条件中引入窗口边界,只在“同一个时间窗口内、key 匹配”的记录之间进行关联。
梦里不知身是客11
1 天前
前端
·
javascript
·
flink
flink对于迟到数据的处理
Flink 对迟到数据的处理主要通过以下机制实现:waterMark和Window机制解决了流式数据的乱序问题,对于因为延迟而顺序有误的数据,可以根据eventTime进行业务处理,对于延迟的数据Flink也有自己的解决办法,
梦里不知身是客11
1 天前
大数据
·
flink
flink有状态计算中状态的分类
在 Apache Flink 的状态计算中,状态主要分为以下两类:$$ \begin{array}{c|c} \text{Keyed State} & \text{Operator State} \ \hline \begin{array}{c} \text{Key=1} \ \downarrow \ \text{State A} \ \end{array} & \begin{array}{c} \text{Operator} \ \downarrow \ \text{Global State} \ \e
路边草随风
1 天前
java
·
大数据
·
flink
·
yarn
java实现发布flink yarn application模式作业
在企业级实时与批处理融合的大数据场景中,Apache Flink 凭借流批一体的计算能力,成为金融风控、实时数仓、物联网数据处理等核心业务的首选引擎;YARN 作为 Hadoop 生态的核心资源调度系统,仍是企业私有化大数据集群的主流资源管理底座。Flink YARN Application 模式作为 Flink 1.10+ 推出的核心部署模式,相比 Session 模式具备 “作业与集群生命周期绑定、资源独享、隔离性强” 的优势,适配大规模、高优先级、长运行时的 Flink 作业场景。但传统的 Flin
expect7g
1 天前
大数据
·
后端
·
flink
Paimon源码解读 -- Compaction-3.MergeSorter
上篇文章Paimon源码解读 -- Compaction-1.MergeTreeCompactTask解析了Paimon-Compaction阶段的大概流程
青云交
1 天前
java
·
flink
·
数据清洗
·
电子病历
·
智能医疗
·
医疗信息化
·
临床决策
Java 大视界 -- Java 大数据在智能医疗电子病历数据分析与临床决策支持中的应用
嘿,亲爱的 Java 和 大数据爱好者们,大家好!我是CSDN(全区域)四榜榜首青云交!市第一医院的张医生最近总对着电脑叹气 —— 门诊时,调出一位糖尿病患者的电子病历要等 30 秒,里面混杂着 5 年前的感冒记录和重复的检查单;给新入院的老人开处方时,忘了他有青霉素过敏史,幸亏护士核对时发现,才没出大事。
Hello.Reader
2 天前
数据库
·
sql
·
flink
Flink SQL 中的 OVER 聚合——为每一行算“窗口统计
在 Flink SQL 里,最常见的聚合其实有两大类:GROUP BY 聚合OVER 聚合(窗口函数聚合)
诗旸的技术记录与分享
2 天前
大数据
·
flink
Flink-1.19.0源码详解10-Flink计算资源的申请与调度
Flink是Apache软件基金会下开源的分布式流批一体计算框架,具备实时流计算和高吞吐批处理计算的大数据计算能力。本专栏内容为Flink源码解析的记录与分享。
Hello.Reader
2 天前
java
·
sql
·
flink
Flink SQL 窗口函数从 OVER 到 TopN 的完整套路
先用一个统一的例子。假设有订单表:一个典型的 OVER 聚合语法大致长这样:核心要素:和 GROUP BY 最大的区别:
Hello.Reader
2 天前
网络
·
sql
·
flink
Flink SQL Join 从 Regular Join 到 Temporal Join 的实战
Regular Join 就是大家最熟悉的那种:和离线 SQL 看起来几乎一样,但在 Flink 流式语义下,有几个关键差异:
路边草随风
2 天前
java
·
大数据
·
flink
·
kubernetes
java实现发布flink k8s application模式作业
在云原生架构全面普及的当下,Apache Flink 作为流批一体的大数据计算引擎,已成为企业处理实时日志、交易风控、实时数仓等核心业务的关键工具;Kubernetes(K8s)则凭借容器编排、弹性扩缩容、资源隔离、多租户管理等特性,成为企业云原生基础设施的标准底座。Flink K8s Application 模式作为 Flink 云原生部署的核心形态,将作业与 K8s 集群的 Pod 生命周期深度绑定,具备 “资源按需分配、隔离性强、适配云原生调度” 的优势,适配大规模、高可用、弹性化的 Flink 作
路边草随风
2 天前
java
·
flink
·
yarn
java实现发布flink yarn session模式作业
在企业级实时大数据处理场景中,Apache Flink 凭借低延迟、高吞吐的流处理能力,成为日志分析、实时计算、事件驱动型应用的核心引擎;而 YARN 作为 Hadoop 生态的主流资源调度系统,是企业私有化大数据集群的标准资源管理底座。Flink YARN Session 模式通过预先申请集群资源并启动常驻的 Flink 集群(Session Cluster),可复用资源承接多个作业提交,相比 Per-Job 模式大幅降低资源申请与集群启动的开销,适配高频、小规模作业的运行诉求。但传统的 Flink Y