在Flink SQL中使用watermark进阶功能

摘自官网

在Flink SQL中使用watermark进阶功能

在Flink1.18中对Watermark的很多进阶功能(比如watermark对齐)通过datastream api很容易使用。在sql中使用不是很方便,在Flink1.18中对这些功能进行扩展。在sql中也能使用这些功能。

只有实现了SupportsWatermarkPushDown接口的源连接器(source connector)(比如kafka、pulsar)才可以使用这些进阶功能。这些进阶的功能都可以使用dynamic table options或OPTIONS hint进行配置,如果用户同时使用dynamic table options或OPTIONS hint进行配置,那么OPTIONS hint配置的值会优先生效。如果用户在sql的多个地方使用了OPTIONS hint,那么SQL中出现的第一个hint会优先生效

功能 I**.**配置Watermark发射方式

Flink中watermark有两种发射方式:

  • on-periodic: 周期性发射
  • on-event: 每条事件数据发射一次watermark

在Datastream中用户可以通过WatermarkGenerator接口来自己决定使用哪种watermark。在sql中watermark的使用默认是周期性发射的方式,默认周期是200ms。这个周期可以通过pipeline.auto-watermark-interval的方式修改。如果需要每条数据都发射一次watermark。可以在source表中设置。

CREATE TABLE user_actions (
  ...
  user_action_time TIMESTAMP(3),
  WATERMARK FOR user_action_time AS user_action_time - INTERVAL '5' SECOND
) WITH (
  'scan.watermark.emit.strategy'='on-event', --这里设置
  ...
);


select ... from source_table /*+ OPTIONS('scan.watermark.emit.strategy'='on-periodic') */

功能II. 配置数据源的空闲超时时间

**使用场景:**如果数据源的某个分片在一段时间未发送事件数据。那么WatermarkGenerator就不会获取任何数据去生成watermark。在这种情况下,如果其他某些分区仍然在发送事件数据就会出现问题。因为下游算子watermark的计算方式是取所有上游并行数据源watermark的最小值,由于空闲的分片/分区没有计算新的watermark,任务的watermark将不会发生变化

可以设置数据源的空闲超时时间,一个分区/分片在超时时间没有发送事件数据就会被标记为空闲,下游计算新的watermark的时候将会忽略这个空闲sourse,从而让watermark继续推进。

全局的超时时间:table.exec.source.idle-timeout

单个数据源的超时时间:

-- configure in table options
CREATE TABLE user_actions (
  ...
  user_action_time TIMESTAMP(3),
  WATERMARK FOR user_action_time AS user_action_time - INTERVAL '5' SECOND
) WITH (
  'scan.watermark.idle-timeout'='1min',
  ...
);

select ... from source_table /*+ OPTIONS('scan.watermark.idle-timeout'='1min') */

如果全局的超时时间和单个数据源的超时时间都设置了,那么会优先启用单个数据源的超时时间

功能III. Watermark对齐

**使用场景:**同一个数据源的不同分区/分片之间可能出现消费速度不一样的情况,不同数据源之间的消费速度也可能不一样。假如下游有一些有状态的算子,这些算子可能需要在状态中缓存更多那些消费更快的数据,等待那些消费慢的数据,状态可能会变得很大;也会导致严重的乱序。影响窗口计算。使用Watermark对齐确保源表的某个分片/分块/分区的watermark不会比其他分片/分块/分区增加太快。

缺点:影响性能

CREATE TABLE user_actions (
...
user_action_time TIMESTAMP(3),
  WATERMARK FOR user_action_time AS user_action_time - INTERVAL '5' SECOND
) WITH (
'scan.watermark.alignment.group'='alignment-group-1',
'scan.watermark.alignment.max-drift'='1min',
'scan.watermark.alignment.update-interval'='1s',
...
);

scan.watermark.alignment.group配置对齐组名称,在同一个组的数据源将会对齐
scan.watermark.alignment.max-drift配置分片/分块/分区允许偏离对齐时间的最大范围
scan.watermark.alignment.update-interval配置计算对齐时间的频率,非必需,默认是1s


select ... from source_table /*+ OPTIONS('scan.watermark.alignment.group'='alignment-group-1', 'scan.watermark.alignment.max-drift'='1min', 'scan.watermark.alignment.update-interval'='1s') */

如果源连接器(source connector)未实现FLIP-217,并且使用了watermark对齐的功能,那么任务运行会抛出异常,用户可以设置pipeline.watermark-alignment.allow-unaligned-source-splitstrue来禁用源分片的WaterMark对齐功能,此时,只有当分片数量等于源并行度的时候,watermark对齐功能才能正常工作。

相关推荐
莫叫石榴姐1 小时前
数据科学与SQL:组距分组分析 | 区间分布问题
大数据·人工智能·sql·深度学习·算法·机器学习·数据挖掘
魔珐科技2 小时前
以3D数字人AI产品赋能教育培训人才发展,魔珐科技亮相AI+教育创新与人才发展大会
大数据·人工智能
上优3 小时前
uniapp 选择 省市区 省市 以及 回显
大数据·elasticsearch·uni-app
samLi06204 小时前
【更新】中国省级产业集聚测算数据及协调集聚指数数据(2000-2022年)
大数据
Mephisto.java4 小时前
【大数据学习 | Spark-Core】Spark提交及运行流程
大数据·学习·spark
EasyCVR5 小时前
私有化部署视频平台EasyCVR宇视设备视频平台如何构建视频联网平台及升级视频转码业务?
大数据·网络·音视频·h.265
hummhumm5 小时前
第 22 章 - Go语言 测试与基准测试
java·大数据·开发语言·前端·python·golang·log4j
科技象限6 小时前
电脑禁用U盘的四种简单方法(电脑怎么阻止u盘使用)
大数据·网络·电脑
天冬忘忧6 小时前
Kafka 生产者全面解析:从基础原理到高级实践
大数据·分布式·kafka
青云交7 小时前
大数据新视界 -- Hive 数据仓库:构建高效数据存储的基石(下)(2/ 30)
大数据·数据仓库·hive·数据安全·数据分区·数据桶·大数据存储