【大数据面试题】33 手写一个 Flink SQL 样例

一步一个脚印,一天一道大数据面试题
博主希望能够得到大家的点赞收,藏支持!非常感谢~

点赞,收藏是情分,不点是本分。祝你身体健康,事事顺心!

我们来看看 Flink SQL大概流程和样例:

流程:

1.创建 流处理环境 StreamExecutionEnvironment env

2.创建 表环境 StreamTableEnvironment.create(env);

3.创建 source表,sink

4.用 table API 编写查询 SQL(返回 Table 对象)

5.执行 sink executeInsert("sink")

代码样例:

java 复制代码
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.TableEnvironment;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;

import static org.apache.flink.table.api.Expressions.$;

public class SqlDemo2 {
    public static void main(String[] args) {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 1.创建表环境
        // 1.1 方法 1
//        EnvironmentSettings settings = EnvironmentSettings.newInstance()
//                .inStreamingMode()
//                .build();
//        TableEnvironment tableEnv = TableEnvironment.create(settings);

        // 1.2 方法 2
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);

        // 创建表
        // 用 datagen 生成随机数据作为 source
        tableEnv.executeSql("CREATE TABLE source (\n" +
                "    id INT\n" +
                "    ,ts BIGINT\n" +
                "    ,vc INT\n" +
                ") WITH (\n" +
                "    'connector' = 'datagen'\n" +
                "    ,'rows-per-second'='1'\n" +
                "    ,'fields.id.kind'='random'\n" +
                "    ,'fields.id.min'='1'\n" +
                "    ,'fields.id.max'='10'\n" +
                "    ,'fields.ts.kind'='sequence'\n" +
                "    ,'fields.ts.min'='1'\n" +
                "    ,'fields.ts.max'='1000000'\n" +
                "    ,'fields.vc.kind'='random'\n" +
                "    ,'fields.vc.min'='1'\n" +
                "    ,'fields.vc.max'='100'\n" +
                ");\n");

        tableEnv.executeSql("CREATE TABLE sink(\n" +
                "    id INT,\n" +
                "    sumVC INT,\n" +
                ") WITH (\n" +
                "'connector'='print'\n" +
                ");\n");

        // 执行查询
        Table source = tableEnv.from("source");
        Table select = source.where($("id").isGreater(5))
                .groupBy($("id"))
                .aggregate($("vc").sum().as("sumVC"))
                .select($("id"), $("sumVC"));

        // 执行 sink
        select.executeInsert("sink");

    }
}

运行截图:

我是近未来,祝你变得更强!

相关推荐
代码匠心17 小时前
从零开始学Flink:Flink SQL四大Join解析
大数据·flink·flink sql·大数据处理
武子康2 天前
大数据-242 离线数仓 - DataX 实战:MySQL 全量/增量导入 HDFS + Hive 分区(离线数仓 ODS
大数据·后端·apache hive
SelectDB3 天前
易车 × Apache Doris:构建湖仓一体新架构,加速 AI 业务融合实践
大数据·agent·mcp
武子康3 天前
大数据-241 离线数仓 - 实战:电商核心交易数据模型与 MySQL 源表设计(订单/商品/品类/店铺/支付)
大数据·后端·mysql
IvanCodes3 天前
一、消息队列理论基础与Kafka架构价值解析
大数据·后端·kafka
爱可生开源社区4 天前
MiniMax M2.5 的 SQL 能力令人惊艳!
sql·llm
Nyarlathotep01134 天前
事务隔离级别
sql·mysql
武子康4 天前
大数据-240 离线数仓 - 广告业务 Hive ADS 实战:DataX 将 HDFS 分区表导出到 MySQL
大数据·后端·apache hive
Nyarlathotep01134 天前
SQL的事务控制
sql·mysql
NineData5 天前
NineData智能数据管理平台新功能发布|2026年1-2月
数据库·sql·数据分析