Flink SQL Cookbook on Zeppelin 部署使用

简介:对于初学者来说,学习 Flink 可能不是一件容易的事情。看文档是一种学习,更重要的是实践起来。但对于一个初学者来说要把一个 Flink SQL 跑起来还真不容易,要搭各种环境,真心累。很幸运的是,Flink 生态圈里有这样一款工具可以帮助你更有效率地学习 Flink:Zeppelin。
相关类似文章较多,但相关依赖环境也给准备好的较少,故做此文。

1.准备环境

这个 repo 里是一些 Zeppelin notebook,里面都是 flink-SQL-cookbook 里的例子。

git下载:

powershell 复制代码
git clone https://github.com/zjffdu/flink-SQL-cookbook-on-zeppelin.git

csdn下载(免积分):flink-SQL-cookbook-on-zeppelin

下载好,放到"/home"下,如下图所示:

下载 Flink 1.12.1,已集成 flink-faker-0.2.0.jar(lib目录下)。

csdn下载(免积分):flink-SQL-cookbook-on-zeppelin

下载好,放到"/home"下,如下图所示:

1.3 docker运行

docker环境搭建,可参考:一键安装docker环境:docker、docker-compose

docker镜像如果不能在镜像仓库下载,可以到我的网盘下载:https://pan.baidu.com/s/17f0Vl2cd7gRIlOfP3wZ1xQ?pwd=mc2k

docker命令:

powershell 复制代码
docker run -d -p 8081:8081 -p 8080:8080 --rm -v $PWD/logs:/logs -v /home/flink-sql-cookbook-on-zeppelin-main/:/notebook -v /home/flink-1.12.1/:/flink -e ZEPPELIN_LOG_DIR='/logs' -e ZEPPELIN_NOTEBOOK_DIR='/notebook' --name zeppelin apache/zeppelin:0.9.0

2.1 访问

浏览器访问:http://ip:8080

2.2 flink配置

这是 Zeppelin 的 UI,里面已经有了一个文件夹 Flink SQL Cookbook,内含所有 Flink SQL 教程。首先我们需要配置下 Flink 解释器,点击右上角的菜单,选择 interpreter,找到 Flink interpreter,修改其中的 FLINK_HOME 为 /flink (也就是上面 docker 命令里我们挂载的 flink),然后点击重启 interpreter。


2.3 使用

启动:

当出现当前时间的模拟数据时,系统正常运行:

相关推荐
头茬韭菜10 小时前
第 01 篇:「架构鸟瞰与进程启动链路」—— JobManager / TaskManager 从零长出来的完整调用链
架构·flink
starzy199015 小时前
Flink基础之有界与无界流详解:批流一体的底层逻辑
大数据·flink
onthe_wing16 小时前
flink基础知识,系统运行时架构,部署模式详解
大数据·架构·flink
头茬韭菜19 小时前
第 02 篇:「有状态流处理范式与时间语义」—— KeyedState 的 Key Group 分配与 Watermark 对齐内核
flink
数智启示录3 天前
Apache Doris 4.0.8 一致性实战(第 3 篇):Checkpoint 一直成功,Exactly-Once 为什么仍可能是假的
大数据·经验分享·面试·flink
数智启示录3 天前
Apache Doris 4.0.8 CDC 正确性(第 9 篇):Flink Checkpoint 一直成功,表里为什么仍是旧数据
大数据·数据库·经验分享·面试·flink
Thomas21433 天前
flink处理迟到数据
大数据·flink
头茬韭菜5 天前
图解 Fluss(五):Flink 接入与数据生命周期 —— Connector、表生命周期与冷热分层
大数据·flink·fluss
StarRocks_labs5 天前
StarRocks × Fluss × Paimon:流湖仓分析与 ETL 闭环
starrocks·flink·jni·native·paimon·湖仓·fluss
数智启示录5 天前
Doris精讲篇(六) 从第一批小文件到 -235:Doris 是怎样被正常写入拖死的
大数据·数据库·经验分享·面试·flink