flink 安装与访问 ui

官方文档:First steps | Apache Flink

版本:v2.0.0

Flink运行在所有类UNIX环境中,即Linux,Mac OS X和Cygwin(适用于Windows)。您需要安装Java 11。要检查安装的Java版本,请在终端中键入:

复制代码
 java -version

接下来,下载Flink的最新二进制版本,然后解压缩存档到指定目录 /usr/local/flink

bash 复制代码
tar -xzf flink-*.tgz -C /usr/local/flink

浏览项目目录

导航到解压缩的目录,并通过发出以下命令列出内容:

chroma 复制代码
$ cd flink-* && ls -l

你应该看到类似这样的东西:

现在,您可能需要注意:

  • bin/目录包含flink二进制文件以及几个管理各种作业和任务的bash脚本
  • conf/目录包含配置文件,包括Flink配置文件
  • examples/目录包含可以与Flink一起使用的示例应用程序

修改配置文件

这步很重要,否则启动后无法访问 webUI 界面。踩坑血泪史啊!

/conf/flink-conf.yaml,其中 rest.bind-address 默认值为localhost,改成0.0.0.0

rest.bind-address: 0.0.0.0

启动和停止本地群集

要启动本地集群,请运行Flink附带的bash脚本:

chroma 复制代码
$ ./bin/start-cluster.sh

你应该看到这样的输出:

Flink现在作为后台进程运行。您可以使用以下命令检查其状态:

chroma 复制代码
$ ps aux | grep flink

您应该能够导航到localhost:8081的Web UI以查看Flink仪表板并查看集群是否已启动并运行。

要快速停止群集和所有正在运行的组件,您可以使用提供的脚本:

chroma 复制代码
$ ./bin/stop-cluster.sh

提交Flink作业

Flink提供了一个CLI工具bin/flink,它可以运行打包为Java ARchives(Java ARchives)的程序并控制它们的执行。提交作业意味着将作业的文件和相关依赖项上传到正在运行的Flink集群并执行它。

Flink版本附带了示例作业,您可以在examples/文件夹中找到。

要将示例字数统计作业部署到正在运行的群集,请发出以下命令:

bash 复制代码
$ ./bin/flink run examples/streaming/WordCount.jar

您可以通过查看日志来验证输出:

bash 复制代码
$ tail log/flink-*-taskexecutor-*.out

示例输出:

chroma 复制代码
  (nymph,1)
  (in,3)
  (thy,1)
  (orisons,1)
  (be,4)
  (all,2)
  (my,1)
  (sins,1)
  (remember,1)
  (d,4)

此外,您可以检查Flink的Web UI以监控集群和运行作业的状态。

您可以查看执行的数据流计划:

在这里,对于作业执行,Flink有两个操作员。第一个是源操作符,它从集合源读取数据。第二个操作符是转换操作符,它聚集单词的计数。了解有关DataStream运算符的更多信息。

您还可以查看作业执行的时间轴:

您已成功运行Flink应用程序!请随意从examples/文件夹中选择任何其他的JavaScript归档文件或部署您自己的作业!

相关推荐
Elastic 中国社区官方博客2 小时前
列式存储并不等同于列式数据库。Columnar 模式为 Elasticsearch 带来了什么
大数据·运维·数据库·elasticsearch·搜索引擎
weixin199701080162 小时前
[特殊字符]️《二手ERP对接电商平台的总体方案:统一数据模型 + 事件驱动 + 灰度上线6原则》(附Python源码)
大数据·python
大大大大晴天3 小时前
从元数据到数据地图:企业数据治理的第一块地基
大数据
科创致远3 小时前
科创致远 eSOP 电子作业指导书系统落地应用指南
大数据·人工智能·汽车·制造·精益工程
人丰5 小时前
AI不是空中楼阁:制造企业智能化转型的底座建设方法论
大数据·人工智能·制造
科创致远5 小时前
成都显示模组场景观察|看板、ESOP、MES,该不该合成一块屏
大数据·人工智能·制造
智慧医养结合软件开源5 小时前
【源码交付】智慧养老系统 · Java + Vue3-系统中台
大数据·人工智能·信息可视化
llilian_166 小时前
北斗授时卡同步解决方案 gnss授时卡 计算机时间同步板卡
大数据·网络·人工智能·功能测试·51单片机
ACP广源盛139246256737 小时前
GSV5600 国产 8K Serdes 视频延长芯片,AI 超高清可视化远距离传输方案解析
大数据·人工智能·ai·硬件架构·国产芯片
Databend7 小时前
Databend 原生数据血缘:追溯指标来源,检查变更影响
大数据·数据库·sql