【大数据面试题】33 手写一个 Flink SQL 样例

一步一个脚印,一天一道大数据面试题
博主希望能够得到大家的点赞收,藏支持!非常感谢~

点赞,收藏是情分,不点是本分。祝你身体健康,事事顺心!

我们来看看 Flink SQL大概流程和样例:

流程:

1.创建 流处理环境 StreamExecutionEnvironment env

2.创建 表环境 StreamTableEnvironment.create(env);

3.创建 source表,sink

4.用 table API 编写查询 SQL(返回 Table 对象)

5.执行 sink executeInsert("sink")

代码样例:

java 复制代码
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.TableEnvironment;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;

import static org.apache.flink.table.api.Expressions.$;

public class SqlDemo2 {
    public static void main(String[] args) {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 1.创建表环境
        // 1.1 方法 1
//        EnvironmentSettings settings = EnvironmentSettings.newInstance()
//                .inStreamingMode()
//                .build();
//        TableEnvironment tableEnv = TableEnvironment.create(settings);

        // 1.2 方法 2
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);

        // 创建表
        // 用 datagen 生成随机数据作为 source
        tableEnv.executeSql("CREATE TABLE source (\n" +
                "    id INT\n" +
                "    ,ts BIGINT\n" +
                "    ,vc INT\n" +
                ") WITH (\n" +
                "    'connector' = 'datagen'\n" +
                "    ,'rows-per-second'='1'\n" +
                "    ,'fields.id.kind'='random'\n" +
                "    ,'fields.id.min'='1'\n" +
                "    ,'fields.id.max'='10'\n" +
                "    ,'fields.ts.kind'='sequence'\n" +
                "    ,'fields.ts.min'='1'\n" +
                "    ,'fields.ts.max'='1000000'\n" +
                "    ,'fields.vc.kind'='random'\n" +
                "    ,'fields.vc.min'='1'\n" +
                "    ,'fields.vc.max'='100'\n" +
                ");\n");

        tableEnv.executeSql("CREATE TABLE sink(\n" +
                "    id INT,\n" +
                "    sumVC INT,\n" +
                ") WITH (\n" +
                "'connector'='print'\n" +
                ");\n");

        // 执行查询
        Table source = tableEnv.from("source");
        Table select = source.where($("id").isGreater(5))
                .groupBy($("id"))
                .aggregate($("vc").sum().as("sumVC"))
                .select($("id"), $("sumVC"));

        // 执行 sink
        select.executeInsert("sink");

    }
}

运行截图:

我是近未来,祝你变得更强!

相关推荐
大数据CLUB1 小时前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发
ratbag6720131 小时前
当环保遇上大数据:生态环境大数据技术专业的课程侧重哪些领域?
大数据
计算机编程小央姐3 小时前
跟上大数据时代步伐:食物营养数据可视化分析系统技术前沿解析
大数据·hadoop·信息可视化·spark·django·课程设计·食物
智数研析社4 小时前
9120 部 TMDb 高分电影数据集 | 7 列全维度指标 (评分 / 热度 / 剧情)+API 权威源 | 电影趋势分析 / 推荐系统 / NLP 建模用
大数据·人工智能·python·深度学习·数据分析·数据集·数据清洗
潘达斯奈基~4 小时前
《大数据之路1》笔记2:数据模型
大数据·笔记
寻星探路4 小时前
数据库造神计划第六天---增删改查(CRUD)(2)
java·大数据·数据库
翰林小院6 小时前
【大数据专栏】流式处理框架-Apache Fink
大数据·flink
懒虫虫~7 小时前
通过内存去重替换SQL中distinct,优化SQL查询效率
java·sql·慢sql治理
孟意昶7 小时前
Spark专题-第一部分:Spark 核心概述(2)-Spark 应用核心组件剖析
大数据·spark·big data
逛逛GitHub7 小时前
1 个神级智能问数工具,刚开源就 1500 Star 了。
sql·github