【Flink】窗口实战：TUMBLE、HOP、SESSION

G皮T2024-03-27 9:17

窗口实战：TUMBLE、HOP、SESSION

  • [1.TUMBLE WINDOW](#1.TUMBLE WINDOW)
    • [1.1 语法](#1.1 语法)
    • [1.2 标识函数](#1.2 标识函数)
    • [1.3 模拟用例](#1.3 模拟用例)
  • [2.HOP WINDOW](#2.HOP WINDOW)
    • [2.1 语法](#2.1 语法)
    • [2.2 标识函数](#2.2 标识函数)
    • [2.3 模拟用例](#2.3 模拟用例)
  • [3.SESSION WINDOW](#3.SESSION WINDOW)
  • [3.1 语法](#3.1 语法)
    • [3.2 标识函数](#3.2 标识函数)
    • [3.3 模拟用例](#3.3 模拟用例)
  • 4.更多说明

在流式计算中，流通常是无穷无尽的，我们无法知道什么时候数据源会继续 / 停止发送数据，所以在流上处理聚合事件（count、sum 等）的处理方式与批处理中的处理方式会有所差异。在流上一般用窗口（Window）来限定聚合的范围，例如 "过去 2 分钟网站点击量的计数 "、"在最近 100 个人中点赞这个视频的总人数"。窗口的概念相当于帮我们收集了一张有限数据的动态表，我们可以对表中的数据进行聚合计算。

窗口函数是一种特殊的函数，它并不在 SELECT 的投影列表中使用，而是在 GROUP BY 子句中使用。

1.TUMBLE WINDOW

TUMBLE WINDOW（滚动窗口）将每个进入的数据分配到一个指定窗口大小的窗口中。滚动窗口可以自定义固定的大小，并且不会出现重叠。我们可以对窗口内的数据进行计算。

1.1 语法

sql 复制代码 
TUMBLE(time_attr, interval)
  • time_attr：表示 时间戳字段，表示每条记录被处理的时间戳。如果指定为 PROCTIME 是自动生成的时间戳，记录了数据被 Flink 处理的时刻，一般用在 Processing Time 模式下。
  • interval：用来设置 窗口大小。例如，设置为 1 天：INTERVAL '1' DAY；设置为 2 小时：INTERVAL '2' HOUR。
  • 如果在 Event Time 时间模式下（使用 WATERMARK FOR 语句定义了时间戳字段），那么 TUMBLE、HOP、SESSION 窗口函数的第一个参数必须为该字段。
  • 如果在 Processing Time 时间模式下，则 TUMBLE、HOP、SESSION 窗口函数的第一个参数必须为 proctime() 函数生成的计算列，下文用 PROCTIME 举例，请在实际作业中替换为实际的列名。

1.2 标识函数

函数名 功能描述
TUMBLE_START(time-attr, size-interval) 返回窗口的起始时间（包含边界）。例如 [00:10, 00:15) 窗口，返回 00:10 。
TUMBLE_END(time-attr, size-interval) 返回窗口的结束时间（包含边界）。例如 [00:00, 00:15] 窗口，返回 00:15。
TUMBLE_ROWTIME(time-attr, size-interval) 返回窗口的结束时间（不包含边界）。例如[00:00, 00:15] 窗口，返回 00:14:59.999。返回值是一个 rowtime attribute，即可以基于该字段做时间属性的操作。
TUMBLE_PROCTIME(time-attr, size-interval) 返回窗口的结束时间（不包含边界）。例如 [00:00, 00:15] 窗口，返回00:14:59.999。返回值是一个 proctime attribute，即可以基于该字段做时间属性的操作。

1.3 模拟用例

下文以 TUMBLE WINDOW 为例，帮助您更容易地理解 TUMBLE WINDOW。使用 Event Time 模拟统计 每小时各用户收入金额。

示例数据：

username（VARCHAR） income（BIGINT） times（TIMESTAMP）
Tom 20 2021-11-11 10:30:00.0
Jack 10 2021-11-11 10:35:00.0
Tom 10 2021-11-11 10:35:00.0
Tom 10 2021-11-11 10:40:00.0
Tom 15 2021-11-11 11:30:00.0
Jack 10 2021-11-11 11:30:00.0
Jack 15 2021-11-11 11:40:00.0
sql 复制代码 
CREATE TABLE user_income (
    username VARCHAR,
    income INT,
    times TIMESTAMP(3),
    WATERMARK FOR times AS times - INTERVAL '3' SECOND
) WITH (
    'connector' = 'filesystem',
    'path' = 'input/sales01.csv',
    'format' =  'csv'
);

CREATE TABLE output (
    win_start TIMESTAMP,
    win_end TIMESTAMP,
    username VARCHAR,
    hour_income BIGINT
) WITH (
    'connector' = 'print'
);

INSERT INTO output
SELECT
    TUMBLE_START(times,INTERVAL '1' HOUR),
    TUMBLE_END(times,INTERVAL '1' HOUR),
    username,
    SUM(income)
FROM user_income
GROUP BY TUMBLE(times,INTERVAL '1' HOUR),username;

2.HOP WINDOW

HOP WINDOW（滑动窗口）将元素分配到固定长度的窗口中，与滚动窗口类似，窗口的大小由窗口大小参数来配置，另一个窗口滑动参数控制滑动窗口开始的频率。

HOP WINDOW 保持窗口大小（Size）不变，每次滑动指定的时间周期（Slide），因而允许窗口之间的相互重叠。

Slide 的大小决定了 Flink 创建新窗口的频率。

  • 当 Slide 小于 Size 时，相邻窗口会重叠，一个时间会被分配到多个窗口。
  • 当 Slide 大于 Size 时，可能会导致有些事件被丢弃。
  • 当 Slide 等于 Size 时，等于是 TUMBLE WINDOW。

2.1 语法

sql 复制代码 
HOP(time_attr, sliding_interval, window_size_interval)
  • time_attr：表示 时间戳字段，表示每条记录被处理的时间戳。如果指定为 PROCTIME 是自动生成的时间戳，记录了数据被 Flink 处理的时刻，一般用在 Processing Time 模式下。
  • sliding_interval：用来设置 滑动时间周期大小。例如，设置为 1 天：INTERVAL '1' DAY；设置为 2 小时：INTERVAL '2' HOUR。
  • window_size_interval：用来设置 窗口大小。例如，设置为 1 天：INTERVAL '1' DAY；设置为 2 小时：INTERVAL '2' HOUR。

2.2 标识函数

函数名 功能描述
HOP_START(time-attr, slide-interval,size-interval) 返回该窗口的起始时间
HOP_END(time-attr, slide-interval,size-interval) 返回该窗口的结束时间

2.3 模拟用例

下文以 HOP WINDOW 为例，帮助您更容易地理解 HOP WINDOW。使用 Event Time 模拟统计每小时各用户收入金额，1 小时的窗口，30 分钟滑动一次。

示例数据：

username（VARCHAR） income（BIGINT） times（TIMESTAMP）
Tom 20 2021-11-11 10:30:00.0
Jack 10 2021-11-11 10:35:00.0
Tom 10 2021-11-11 10:35:00.0
Tom 10 2021-11-11 10:40:00.0
Tom 15 2021-11-11 11:35:00.0
Jack 10 2021-11-11 11:30:00.0
Jack 15 2021-11-11 11:40:00.0
sql 复制代码 
CREATE TABLE user_income (
    username VARCHAR,
    Income INT,
    times TIMESTAMP(3),
    WATERMARK FOR times AS times - INTERVAL '3' MINUTE
) WITH (
    'connector' = 'filesystem',
    'path' = 'input/sales02.csv',
    'format' =  'csv'
);

CREATE TABLE output (
    win_start TIMESTAMP,
    win_end TIMESTAMP,
    username VARCHAR,
    hour_income BIGINT
) WITH (
    'connector' = 'print'
);

INSERT INTO output
SELECT
    HOP_START(times,INTERVAL '30' MINUTE,INTERVAL '1' HOUR),
    HOP_END(times,INTERVAL '30' MINUTE,INTERVAL '1' HOUR),
    username,
    SUM(income)
FROM user_income
GROUP BY HOP(times,INTERVAL '30' MINUTE,INTERVAL '1' HOUR),username;

3.SESSION WINDOW

SESSION WINDOW（会话窗口）通过 Session 活动对元素进行分组，Session 窗口与滚动窗口和滑动窗口相比，不会有重叠和固定的开始时间和结束时间的情况，相反，当它在一个固定的时间周期内不再收到元素，即非活动间隔产生，那个这个窗口就会关闭。一个 Session 窗口通过一个 sSession 间隔来配置。这个 Session 间隔定义了非活跃周期的长度，当这个非活跃周期产生，那么当前的 Session 将关闭并且后续的元素将被分配到新的 Session 窗口中。

Session Window 并非以长度来划分窗口，而是以 非活跃时间 来划分。例如超过 30 分钟不活跃（没有新数据），则之前的窗口结束，下一个来到的数据将会形成一个新窗口。

3.1 语法

sql 复制代码 
SESSION(time_attr, interval)
  • time_attr：表示 时间戳字段，表示每条记录被处理的时间戳。如果指定为 PROCTIME 是自动生成的时间戳，记录了数据被 Flink 处理的时刻，一般用在 Processing Time 模式下。
  • interval：用来设置 窗口大小。例如，设置为 1 天：INTERVAL '1' DAY；设置为 2 小时：INTERVAL '2' HOUR。

3.2 标识函数

函数名 功能描述
SESSION_START(time-attr, size-interval) 返回该窗口的起始时间
SESSION_END(time-attr, size-interval) 返回该窗口的结束时间

3.3 模拟用例

下文以 SESSION WINDOW 为例，帮助您更容易地理解 SESSION WINDOW。使用 Event Time 模拟统计每小时各用户收入金额，会话超时时长为 30 分钟。

样例数据：

username（VARCHAR） income（BIGINT） times（TIMESTAMP）
Tom 20 2021-11-11 10:30:00.0
Jack 10 2021-11-11 10:35:00.0
Tom 10 2021-11-11 10:35:00.0
Tom 10 2021-11-11 10:40:00.0
Tom 15 2021-11-11 11:50:00.0
Jack 10 2021-11-11 11:40:00.0
Jack 15 2021-11-11 11:45:00.0
sql 复制代码 
CREATE TABLE user_income (
    username VARCHAR,
    income INT,
    times TIMESTAMP(3),
    WATERMARK FOR times AS times - INTERVAL '3' MINUTE
) WITH (
    'connector' = 'filesystem',
    'path' = 'input/sales03.csv',
    'format' =  'csv'
);

CREATE TABLE output (
    win_start TIMESTAMP,
    win_end TIMESTAMP,
    username VARCHAR,
    hour_income BIGINT
) WITH (
    'connector' = 'print'
);

INSERT INTO output
SELECT
    SESSION_START(times,INTERVAL '30' MINUTE),
    SESSION_END(times,INTERVAL '30' MINUTE),
    username,
    SUM(income)
FROM user_income
GROUP BY SESSION(times,INTERVAL '30' MINUTE),username;

4.更多说明

以上三种窗口都有对应的辅助函数。以 TUMBLE 窗口为例（HOP、SESSION 也一样，只是前缀不同），辅助函数如下：

  • TUMBLE_ROWTIME：表示 TUMBLE 窗口的末端界限（包含，可用作 JOIN 或 GROUP 以及 OVER 条件，Event Time 时间模式下使用）。示例如下：
sql 复制代码 
SELECT user,
	   TUMBLE_START(rowtime, INTERVAL '12' HOUR) AS sStart,
       TUMBLE_ROWTIME(rowtime, INTERVAL '12' HOUR) AS snd,
       SUM(amount)
FROM Orders
GROUP BY TUMBLE(rowtime, INTERVAL '12' HOUR), user
  • TUMBLE_PROCTIME：表示 TUMBLE 窗口的末端界限（包含，可用作 JOIN 或 GROUP 以及 OVER 条件，Processing Time 时间模式下使用）。示例如下：
sql 复制代码 
SELECT user,
	   TUMBLE_START(PROCTIME, INTERVAL '12' HOUR) AS sStart,
	   TUMBLE_PROCTIME(PROCTIME, INTERVAL '12' HOUR) AS snd,
	   SUM(amount)
FROM Orders
GROUP BY TUMBLE(PROCTIME, INTERVAL '12' HOUR), user
相关推荐
凯新生物1 天前
mPEG-SS-PLGA-DTX：智能药物递送系统
eureka·flink·ffmpeg·etcd
白衣衬衫 两袖清风1 天前
SQL联查案例
数据库·sql
晨曦5432101 天前
MySQL MOD()函数详解与Python对比
sql
甘露s1 天前
MySQL深入之索引、存储引擎和SQL优化
数据库·sql·mysql
偶遇急雨洗心尘1 天前
记录一次服务器迁移时，数据库版本不一致导致sql函数报错和系统redirect重定向丢失域名问题
运维·服务器·数据库·sql
一缕猫毛1 天前
Flink demo代码
java·大数据·flink
Logic1011 天前
《Mysql数据库应用》 第2版 郭文明 实验5 存储过程与函数的构建与使用核心操作与思路解析
数据库·sql·mysql·学习笔记·计算机网络技术·形考作业·国家开放大学
Hello.Reader1 天前
Flink ML 基本概念Table API、Stage、Pipeline 与 Graph
大数据·python·flink
小二·1 天前
MyBatis基础入门《十六》企业级插件实战：基于 MyBatis Interceptor 实现 SQL 审计、慢查询监控与数据脱敏
数据库·sql·mybatis
pale_moonlight1 天前
十一、Flink基础环境实战
大数据·flink
热门推荐
01GitHub 镜像站点02UV安装并设置国内源03Linux下V2Ray安装配置指南04在VSCode配置Java开发环境的保姆级教程（适配各类AI编程IDE）05【AutoGLM部署】本地私有化部署AI手机Agent06Open-AutoGLM Windows 安装部署教程07Cursor 又偷偷更新，这个功能太实用：Visual Editor for Cursor Browser08Labelme从安装到标注：零基础完整指南09安娜的档案(Anna’s Archive) 镜像网站/国内最新可访问入口（持续更新）10BongoCat - 跨平台键盘猫动画工具