Flink 命令行提交、展示和取消作业

MarkHD2024-06-18 15:51

Apache Flink 是一个流处理和批处理的开源框架，用于在分布式环境中执行无边界和有边界的数据流。你可以使用 Flink 的命令行界面（CLI）来提交、展示和取消作业。

提交作业

使用 Flink CLI 提交作业的命令格式通常如下：

bash 复制代码

./bin/flink run -m <jobmanager_host>:<jobmanager_port> -c <entrypoint_class> <jar_file_path> <arguments>

-m <jobmanager_host>:<jobmanager_port>：指定 JobManager 的地址和端口。
-c <entrypoint_class>：指定 JAR 文件中包含作业入口点的类。
<jar_file_path>：要提交的 JAR 文件的路径。
<arguments>：传递给作业的任何可选参数。

例如：

bash 复制代码

./bin/flink run -m localhost:6123 -c com.example.MyFlinkJob /path/to/my-flink-job.jar --input /path/to/input --output /path/to/output

展示作业

要查看 Flink 集群上正在运行的作业，你可以使用 Flink 的 Web UI。默认情况下，Web UI 可以在 JobManager 的 8081 端口上访问（例如，http://localhost:8081/）。在 Web UI 上，你可以看到所有正在运行的作业、它们的任务、以及相关的性能指标。

另外，你也可以使用 Flink CLI 的 list 命令来列出正在运行的作业：

bash 复制代码

./bin/flink list -m <jobmanager_host>:<jobmanager_port>

取消作业

要取消 Flink 集群上正在运行的作业，你可以使用 Flink CLI 的 cancel 命令，并指定作业的 ID：

bash 复制代码

./bin/flink cancel -m <jobmanager_host>:<jobmanager_port> <job_id>

其中 <job_id> 是你想要取消的作业的 ID。你可以通过 Flink Web UI 或 list 命令来获取作业的 ID。

例如：

bash 复制代码

./bin/flink cancel -m localhost:6123 00000000000000000000000000000000

注意：你需要确保你有足够的权限来提交、展示和取消作业。在某些环境中，可能需要特定的身份验证或授权。