【Flink】窗口实战：TUMBLE、HOP、SESSION

G皮T2024-03-27 9:17

窗口实战：TUMBLE、HOP、SESSION

  • [1.TUMBLE WINDOW](#1.TUMBLE WINDOW)
    • [1.1 语法](#1.1 语法)
    • [1.2 标识函数](#1.2 标识函数)
    • [1.3 模拟用例](#1.3 模拟用例)
  • [2.HOP WINDOW](#2.HOP WINDOW)
    • [2.1 语法](#2.1 语法)
    • [2.2 标识函数](#2.2 标识函数)
    • [2.3 模拟用例](#2.3 模拟用例)
  • [3.SESSION WINDOW](#3.SESSION WINDOW)
  • [3.1 语法](#3.1 语法)
    • [3.2 标识函数](#3.2 标识函数)
    • [3.3 模拟用例](#3.3 模拟用例)
  • 4.更多说明

在流式计算中，流通常是无穷无尽的，我们无法知道什么时候数据源会继续 / 停止发送数据，所以在流上处理聚合事件（count、sum 等）的处理方式与批处理中的处理方式会有所差异。在流上一般用窗口（Window）来限定聚合的范围，例如 "过去 2 分钟网站点击量的计数 "、"在最近 100 个人中点赞这个视频的总人数"。窗口的概念相当于帮我们收集了一张有限数据的动态表，我们可以对表中的数据进行聚合计算。

窗口函数是一种特殊的函数，它并不在 SELECT 的投影列表中使用，而是在 GROUP BY 子句中使用。

1.TUMBLE WINDOW

TUMBLE WINDOW（滚动窗口）将每个进入的数据分配到一个指定窗口大小的窗口中。滚动窗口可以自定义固定的大小，并且不会出现重叠。我们可以对窗口内的数据进行计算。

1.1 语法

sql 复制代码 
TUMBLE(time_attr, interval)
  • time_attr：表示 时间戳字段，表示每条记录被处理的时间戳。如果指定为 PROCTIME 是自动生成的时间戳，记录了数据被 Flink 处理的时刻，一般用在 Processing Time 模式下。
  • interval：用来设置 窗口大小。例如，设置为 1 天：INTERVAL '1' DAY；设置为 2 小时：INTERVAL '2' HOUR。
  • 如果在 Event Time 时间模式下（使用 WATERMARK FOR 语句定义了时间戳字段），那么 TUMBLE、HOP、SESSION 窗口函数的第一个参数必须为该字段。
  • 如果在 Processing Time 时间模式下，则 TUMBLE、HOP、SESSION 窗口函数的第一个参数必须为 proctime() 函数生成的计算列，下文用 PROCTIME 举例，请在实际作业中替换为实际的列名。

1.2 标识函数

函数名 功能描述
TUMBLE_START(time-attr, size-interval) 返回窗口的起始时间（包含边界）。例如 [00:10, 00:15) 窗口，返回 00:10 。
TUMBLE_END(time-attr, size-interval) 返回窗口的结束时间（包含边界）。例如 [00:00, 00:15] 窗口，返回 00:15。
TUMBLE_ROWTIME(time-attr, size-interval) 返回窗口的结束时间（不包含边界）。例如[00:00, 00:15] 窗口，返回 00:14:59.999。返回值是一个 rowtime attribute，即可以基于该字段做时间属性的操作。
TUMBLE_PROCTIME(time-attr, size-interval) 返回窗口的结束时间（不包含边界）。例如 [00:00, 00:15] 窗口，返回00:14:59.999。返回值是一个 proctime attribute，即可以基于该字段做时间属性的操作。

1.3 模拟用例

下文以 TUMBLE WINDOW 为例，帮助您更容易地理解 TUMBLE WINDOW。使用 Event Time 模拟统计 每小时各用户收入金额。

示例数据：

username（VARCHAR） income（BIGINT） times（TIMESTAMP）
Tom 20 2021-11-11 10:30:00.0
Jack 10 2021-11-11 10:35:00.0
Tom 10 2021-11-11 10:35:00.0
Tom 10 2021-11-11 10:40:00.0
Tom 15 2021-11-11 11:30:00.0
Jack 10 2021-11-11 11:30:00.0
Jack 15 2021-11-11 11:40:00.0
sql 复制代码 
CREATE TABLE user_income (
    username VARCHAR,
    income INT,
    times TIMESTAMP(3),
    WATERMARK FOR times AS times - INTERVAL '3' SECOND
) WITH (
    'connector' = 'filesystem',
    'path' = 'input/sales01.csv',
    'format' =  'csv'
);

CREATE TABLE output (
    win_start TIMESTAMP,
    win_end TIMESTAMP,
    username VARCHAR,
    hour_income BIGINT
) WITH (
    'connector' = 'print'
);

INSERT INTO output
SELECT
    TUMBLE_START(times,INTERVAL '1' HOUR),
    TUMBLE_END(times,INTERVAL '1' HOUR),
    username,
    SUM(income)
FROM user_income
GROUP BY TUMBLE(times,INTERVAL '1' HOUR),username;

2.HOP WINDOW

HOP WINDOW（滑动窗口）将元素分配到固定长度的窗口中，与滚动窗口类似，窗口的大小由窗口大小参数来配置，另一个窗口滑动参数控制滑动窗口开始的频率。

HOP WINDOW 保持窗口大小（Size）不变，每次滑动指定的时间周期（Slide），因而允许窗口之间的相互重叠。

Slide 的大小决定了 Flink 创建新窗口的频率。

  • 当 Slide 小于 Size 时，相邻窗口会重叠，一个时间会被分配到多个窗口。
  • 当 Slide 大于 Size 时，可能会导致有些事件被丢弃。
  • 当 Slide 等于 Size 时，等于是 TUMBLE WINDOW。

2.1 语法

sql 复制代码 
HOP(time_attr, sliding_interval, window_size_interval)
  • time_attr：表示 时间戳字段，表示每条记录被处理的时间戳。如果指定为 PROCTIME 是自动生成的时间戳，记录了数据被 Flink 处理的时刻，一般用在 Processing Time 模式下。
  • sliding_interval：用来设置 滑动时间周期大小。例如，设置为 1 天：INTERVAL '1' DAY；设置为 2 小时：INTERVAL '2' HOUR。
  • window_size_interval：用来设置 窗口大小。例如，设置为 1 天：INTERVAL '1' DAY；设置为 2 小时：INTERVAL '2' HOUR。

2.2 标识函数

函数名 功能描述
HOP_START(time-attr, slide-interval,size-interval) 返回该窗口的起始时间
HOP_END(time-attr, slide-interval,size-interval) 返回该窗口的结束时间

2.3 模拟用例

下文以 HOP WINDOW 为例，帮助您更容易地理解 HOP WINDOW。使用 Event Time 模拟统计每小时各用户收入金额，1 小时的窗口，30 分钟滑动一次。

示例数据：

username（VARCHAR） income（BIGINT） times（TIMESTAMP）
Tom 20 2021-11-11 10:30:00.0
Jack 10 2021-11-11 10:35:00.0
Tom 10 2021-11-11 10:35:00.0
Tom 10 2021-11-11 10:40:00.0
Tom 15 2021-11-11 11:35:00.0
Jack 10 2021-11-11 11:30:00.0
Jack 15 2021-11-11 11:40:00.0
sql 复制代码 
CREATE TABLE user_income (
    username VARCHAR,
    Income INT,
    times TIMESTAMP(3),
    WATERMARK FOR times AS times - INTERVAL '3' MINUTE
) WITH (
    'connector' = 'filesystem',
    'path' = 'input/sales02.csv',
    'format' =  'csv'
);

CREATE TABLE output (
    win_start TIMESTAMP,
    win_end TIMESTAMP,
    username VARCHAR,
    hour_income BIGINT
) WITH (
    'connector' = 'print'
);

INSERT INTO output
SELECT
    HOP_START(times,INTERVAL '30' MINUTE,INTERVAL '1' HOUR),
    HOP_END(times,INTERVAL '30' MINUTE,INTERVAL '1' HOUR),
    username,
    SUM(income)
FROM user_income
GROUP BY HOP(times,INTERVAL '30' MINUTE,INTERVAL '1' HOUR),username;

3.SESSION WINDOW

SESSION WINDOW（会话窗口）通过 Session 活动对元素进行分组，Session 窗口与滚动窗口和滑动窗口相比，不会有重叠和固定的开始时间和结束时间的情况，相反，当它在一个固定的时间周期内不再收到元素，即非活动间隔产生，那个这个窗口就会关闭。一个 Session 窗口通过一个 sSession 间隔来配置。这个 Session 间隔定义了非活跃周期的长度，当这个非活跃周期产生，那么当前的 Session 将关闭并且后续的元素将被分配到新的 Session 窗口中。

Session Window 并非以长度来划分窗口，而是以 非活跃时间 来划分。例如超过 30 分钟不活跃（没有新数据），则之前的窗口结束，下一个来到的数据将会形成一个新窗口。

3.1 语法

sql 复制代码 
SESSION(time_attr, interval)
  • time_attr：表示 时间戳字段，表示每条记录被处理的时间戳。如果指定为 PROCTIME 是自动生成的时间戳，记录了数据被 Flink 处理的时刻，一般用在 Processing Time 模式下。
  • interval：用来设置 窗口大小。例如，设置为 1 天：INTERVAL '1' DAY；设置为 2 小时：INTERVAL '2' HOUR。

3.2 标识函数

函数名 功能描述
SESSION_START(time-attr, size-interval) 返回该窗口的起始时间
SESSION_END(time-attr, size-interval) 返回该窗口的结束时间

3.3 模拟用例

下文以 SESSION WINDOW 为例，帮助您更容易地理解 SESSION WINDOW。使用 Event Time 模拟统计每小时各用户收入金额，会话超时时长为 30 分钟。

样例数据：

username（VARCHAR） income（BIGINT） times（TIMESTAMP）
Tom 20 2021-11-11 10:30:00.0
Jack 10 2021-11-11 10:35:00.0
Tom 10 2021-11-11 10:35:00.0
Tom 10 2021-11-11 10:40:00.0
Tom 15 2021-11-11 11:50:00.0
Jack 10 2021-11-11 11:40:00.0
Jack 15 2021-11-11 11:45:00.0
sql 复制代码 
CREATE TABLE user_income (
    username VARCHAR,
    income INT,
    times TIMESTAMP(3),
    WATERMARK FOR times AS times - INTERVAL '3' MINUTE
) WITH (
    'connector' = 'filesystem',
    'path' = 'input/sales03.csv',
    'format' =  'csv'
);

CREATE TABLE output (
    win_start TIMESTAMP,
    win_end TIMESTAMP,
    username VARCHAR,
    hour_income BIGINT
) WITH (
    'connector' = 'print'
);

INSERT INTO output
SELECT
    SESSION_START(times,INTERVAL '30' MINUTE),
    SESSION_END(times,INTERVAL '30' MINUTE),
    username,
    SUM(income)
FROM user_income
GROUP BY SESSION(times,INTERVAL '30' MINUTE),username;

4.更多说明

以上三种窗口都有对应的辅助函数。以 TUMBLE 窗口为例（HOP、SESSION 也一样，只是前缀不同），辅助函数如下：

  • TUMBLE_ROWTIME：表示 TUMBLE 窗口的末端界限（包含，可用作 JOIN 或 GROUP 以及 OVER 条件，Event Time 时间模式下使用）。示例如下：
sql 复制代码 
SELECT user,
	   TUMBLE_START(rowtime, INTERVAL '12' HOUR) AS sStart,
       TUMBLE_ROWTIME(rowtime, INTERVAL '12' HOUR) AS snd,
       SUM(amount)
FROM Orders
GROUP BY TUMBLE(rowtime, INTERVAL '12' HOUR), user
  • TUMBLE_PROCTIME：表示 TUMBLE 窗口的末端界限（包含，可用作 JOIN 或 GROUP 以及 OVER 条件，Processing Time 时间模式下使用）。示例如下：
sql 复制代码 
SELECT user,
	   TUMBLE_START(PROCTIME, INTERVAL '12' HOUR) AS sStart,
	   TUMBLE_PROCTIME(PROCTIME, INTERVAL '12' HOUR) AS snd,
	   SUM(amount)
FROM Orders
GROUP BY TUMBLE(PROCTIME, INTERVAL '12' HOUR), user
相关推荐
Hacker_LaoYi6 分钟前
SQL注入的那些面试题总结
数据库·sql
Hacker_LaoYi2 小时前
【渗透技术总结】SQL手工注入总结
数据库·sql
独行soc2 小时前
#渗透测试#漏洞挖掘#红蓝攻防#护网#sql注入介绍06-基于子查询的SQL注入（Subquery-Based SQL Injection）
数据库·sql·安全·web安全·漏洞挖掘·hw
独行soc4 小时前
#渗透测试#漏洞挖掘#红蓝攻防#护网#sql注入介绍08-基于时间延迟的SQL注入（Time-Based SQL Injection）
数据库·sql·安全·渗透测试·漏洞挖掘
lucky_syq4 小时前
Saprk和Flink的区别
大数据·flink
lucky_syq5 小时前
流式处理，为什么Flink比Spark Streaming好？
大数据·flink·spark
清平乐的技术专栏5 小时前
Hive SQL 查询所有函数
hive·hadoop·sql
cmdch20179 小时前
Mybatis加密解密查询操作（sql前），where要传入加密后的字段时遇到的问题
数据库·sql·mybatis
程序猿小柒9 小时前
【Spark】Spark SQL执行计划-精简版
大数据·sql·spark
小屁孩大帅-杨一凡10 小时前
Flink 简介和简单的demo
大数据·flink
热门推荐
01〔AI 绘画〕Stable Diffusion 之 解决绘制多人或面部很小的人物时面部崩坏问题 篇02ARM学习（31）编译器对overlay方式的支持03玄机平台应急响应—webshell查杀04DisplayPort AltMode On Type-c协议_Ver2.0(学习笔记)05校验 GPT-4 真实性的三个经典问题：快速区分 GPT-3.5 与 GPT-4，并提供免费测试网站06Docker 夺命连环 15 问076个主流的工业3D管道设计软件08基于大语言模型（LLM）的合成数据生成、策展和评估的综述09(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明10树莓派 5 AI 套件（Hailo-8L）使用教程