Flink详细讲解

一、Flink的介绍

Flink是大数据里面的运算框架, 它替代了MapReduce, 按照流处理方式来处理数据,流处理指的是一条一条地处理数据。同时它也支持"流批一体",把批处理看作是有界流。

二、Flink的运行模式

1.流处理模式(Streaming):默认模式。每来一条数据就处理一次,实时输出连续的结果(插入、更新、删除)。主要用于处理无界流,也能处理有界流。

2.批处理模式(Batch) :离线计算,底层类似MapReduce。等所有数据到齐后一次性计算,只输出最终结果。只能用于处理有界流。

三、Flink的数据交互(连接器)

连接器分为Source(数据源,读) 和Sink(数据汇,写)。

1.测试类:datagen(生成随机无界流)、print(打印到控制台)、blackhole(黑洞,用于高性能压测)。

2.文件系统(HDFS):默认是有界流;如果配置了source.monitor-interval定时扫描新文件,则变成无界流。作为Sink写入更新流时,需用canal-json格式。

3.关系型数据库(MySQL):jdbc连接器作为Source是有界流;作为Sink如果表有主键,支持按主键更新(Upsert)。

4.CDC(变更数据捕获):mysql-cdc监控Binlog,先全量读取再增量监听,是无界流(+I,-U,+U,-D)。

5.消息队列(Kafka):典型的无界流。

6.OLAP数据库(Doris):列式存储、向量化计算,适合大数据的实时报表写入。

四、Flink的时间与窗口(流处理核心)

1.时间属性:

处理时间(proctime):数据被Flink处理时的机器时间。

事件时间(Eventtime):数据真正发生的时间。必须配合Watermark(水位线)使用(允许数据迟到乱序)。

2.四大窗口:

滚动窗口:无重叠,例如每分钟算一次。

滑动窗口:有重叠,例如每分钟算一次过去15分钟的数据。

累加窗口:在长周期内(如10分钟),每短周期(如2分钟)输出一次累计结果。

会话窗口:按活跃间隙切分窗口,一段时间没数据则窗口结束。一段时间没数据则窗口结束。

五、流出来SQL的语法陷阱与函数

1.去重(Distinct):流模式下distinct会导致状态无限增大,推荐使用row_number() over()替代。

2.排序(Order by):流模式下禁止对普通字段全局排序(计算代价极大),除非加了limit。只能按时间字段升序排序。

3.Over函数:

sum() over(order by 时间) 是累计求和。

lag取前一行,lead取后一行(流模式通常只用lag)。

4.Hint:使用/*+ OPTIONS(...) */可在当前查询中动态覆盖表参数。

六、Flink的五种Join方式(状态管理关键)

1.regular joins(常规join):无时间限制,Flink会将两边数据一直保存在内存,导致状态无限大。

2.interval joins(时间区间join):用between ... and ...限制时间范围,内存只需保留该时间段数据,状态可控。

3.Temporal Joins(时间表Join):流表关联时态表,用FOR SYSTEM TIME AS OF关联数据发生时刻的维度数据。

4.Lookup Joins(维表查询Join):流表直接关联外部数据库(如MySQL)。每来一条数据查一次库,维表不占Flink内存。

5.Window Join(窗口Join):双流先开窗,再按窗口边界关联,状态只保留一个窗口周期。

七、复杂时间处理(CEP)

通过MATCH_RECOGNIZE语法,在数据流中匹配特定的规则(如连续3次小额交易后跟着1次大额交易)。

PATTERN(A B):定义事件先后顺序。

DEFINE:定义事件的具体条件。

WITHIN INTERVAL:限定模式匹配必须完成的超时时间。

八、容错与扩展(Checkpoint)

1.Checkpoint(快照):Flink定时将计算的状态保存到HDFS。如果任务失败,通过SET 'execution.savepoint.path'读取快照恢复,保证中间结果不丢失。

2.自定义函数(UDF):支持Java/Python,通过CREATE FUNCTION ... LANGUAGE PYTHON注册后可在SQL中直接调用。

相关推荐
用户46043852250862 小时前
关于paimon-rust 数据写入链路
大数据
数字融合3 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
演艺大赏4 小时前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
知行产研4 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
演艺大赏4 小时前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
Databend5 小时前
活动邀请函|AI 时代的湖仓实践,从应用场景到 Cloud Agent 上手
大数据·数据库·agent
数字新视界21 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术1 天前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
武子康1 天前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法