【实战-05】 flinksql look up join

笔生花2023-09-05 9:52

摘要

look up join 能做什么？不饶关子直接说答案， look up join 就是广播。重要是事情说三遍，广播。flinksql中的look up join 就类似于flinks flink Datastream api中的广播的概念，但是又不完全相同，对于初次访问的数据会加入缓存，一定时间未访问到的则会从缓存中去除。而广播则是直接广播到每个exxcotor.

比如我们有一张订单表orders, 那么假设我们在进行flink计算的时候想获取该订单的相关的用户数据。此时可以将用户数据用look up join 加载进来。
look up join 又称维表在DataStream 中又称伟广播，理解了这些就比较简单了。

缺点

不适合大量数据的 look up join, 因为会占用过多内存。在业内很多人喜欢用hbase做缓存插件。也可以用 mysql 等其他外部存储系统，在任务启动的时候外部的维表会被加载到任务内存中

语法

左表要设置proress Time , 右表为缓存表

sql 复制代码

create TEMPORARY table orders(
   `order_id` VARCHAR,                                                
   `order_info` VARCHAR,
   `user_id` VARCHAR,
   process_time AS PROCTIME()  # 这句语法是严格要求的
)with(
    'connector' = 'kafka',                                       
 	'topic' = 'topic-01;topic-02',                                   
 	'properties.bootstrap.servers' = 'xxx:9092,yyy:9092',
 	'properties.group.id' = 'test',
 	'scan.startup.mode' = 'timestamp',
   'scan.startup.timestamp-millis' = '1680883200000',
 	'format' = 'raw'
 );
create TEMPORARY table users(     
	`user_id` VARCHAR,                                          
	`user_name` VARCHAR
)with(
    # 其他外部系统，省略
 );
 
SELECT 
	o.order_id, 
	o.order_info,
	u.user_id,
	u.user_name
FROM orders AS o
left JOIN users FOR SYSTEM_TIME AS OF o.proc_time AS u # 这句语法是严格要求的
ON o.user_id= u.user_id
where ...# 省略where语句
;
# 注意: 一般都是用left  join