一、Flink的介绍
Flink是大数据里面的运算框架, 它替代了MapReduce, 按照流处理方式来处理数据,流处理指的是一条一条地处理数据。同时它也支持"流批一体",把批处理看作是有界流。
二、Flink的运行模式
1.流处理模式(Streaming):默认模式。每来一条数据就处理一次,实时输出连续的结果(插入、更新、删除)。主要用于处理无界流,也能处理有界流。
2.批处理模式(Batch) :离线计算,底层类似MapReduce。等所有数据到齐后一次性计算,只输出最终结果。只能用于处理有界流。
三、Flink的数据交互(连接器)
连接器分为Source(数据源,读) 和Sink(数据汇,写)。
1.测试类:datagen(生成随机无界流)、print(打印到控制台)、blackhole(黑洞,用于高性能压测)。
2.文件系统(HDFS):默认是有界流;如果配置了source.monitor-interval定时扫描新文件,则变成无界流。作为Sink写入更新流时,需用canal-json格式。
3.关系型数据库(MySQL):jdbc连接器作为Source是有界流;作为Sink如果表有主键,支持按主键更新(Upsert)。
4.CDC(变更数据捕获):mysql-cdc监控Binlog,先全量读取再增量监听,是无界流(+I,-U,+U,-D)。
5.消息队列(Kafka):典型的无界流。
6.OLAP数据库(Doris):列式存储、向量化计算,适合大数据的实时报表写入。
四、Flink的时间与窗口(流处理核心)
1.时间属性:
处理时间(proctime):数据被Flink处理时的机器时间。
事件时间(Eventtime):数据真正发生的时间。必须配合Watermark(水位线)使用(允许数据迟到乱序)。
2.四大窗口:
滚动窗口:无重叠,例如每分钟算一次。
滑动窗口:有重叠,例如每分钟算一次过去15分钟的数据。
累加窗口:在长周期内(如10分钟),每短周期(如2分钟)输出一次累计结果。
会话窗口:按活跃间隙切分窗口,一段时间没数据则窗口结束。一段时间没数据则窗口结束。
五、流出来SQL的语法陷阱与函数
1.去重(Distinct):流模式下distinct会导致状态无限增大,推荐使用row_number() over()替代。
2.排序(Order by):流模式下禁止对普通字段全局排序(计算代价极大),除非加了limit。只能按时间字段升序排序。
3.Over函数:
sum() over(order by 时间) 是累计求和。
lag取前一行,lead取后一行(流模式通常只用lag)。
4.Hint:使用/*+ OPTIONS(...) */可在当前查询中动态覆盖表参数。
六、Flink的五种Join方式(状态管理关键)
1.regular joins(常规join):无时间限制,Flink会将两边数据一直保存在内存,导致状态无限大。
2.interval joins(时间区间join):用between ... and ...限制时间范围,内存只需保留该时间段数据,状态可控。
3.Temporal Joins(时间表Join):流表关联时态表,用FOR SYSTEM TIME AS OF关联数据发生时刻的维度数据。
4.Lookup Joins(维表查询Join):流表直接关联外部数据库(如MySQL)。每来一条数据查一次库,维表不占Flink内存。
5.Window Join(窗口Join):双流先开窗,再按窗口边界关联,状态只保留一个窗口周期。
七、复杂时间处理(CEP)
通过MATCH_RECOGNIZE语法,在数据流中匹配特定的规则(如连续3次小额交易后跟着1次大额交易)。
PATTERN(A B):定义事件先后顺序。
DEFINE:定义事件的具体条件。
WITHIN INTERVAL:限定模式匹配必须完成的超时时间。
八、容错与扩展(Checkpoint)
1.Checkpoint(快照):Flink定时将计算的状态保存到HDFS。如果任务失败,通过SET 'execution.savepoint.path'读取快照恢复,保证中间结果不丢失。
2.自定义函数(UDF):支持Java/Python,通过CREATE FUNCTION ... LANGUAGE PYTHON注册后可在SQL中直接调用。