Apache DolphinScheduler支持Flink吗?

随着大数据技术的快速发展,很多企业开始将Flink引入到生产环境中,以满足日益复杂的数据处理需求。而作为一款企业级的数据调度平台,Apache DolphinScheduler也跟上了时代步伐,推出了对Flink任务类型的支持。

Flink是一个开源的分布式流处理框架,具有高吞吐量、低延迟和准确性等特点,广泛应用于实时数据分析、机器学习等场景。通过DolphinScheduler的Flink任务类型,用户可以轻松地将Flink作业纳入到整个数据调度流程中,大大提高了数据处理的效率和可靠性。本文将介绍如何在DolphinScheduler中支持Flink节点,包括任务创建、设置等。

Flink节点

Flink 任务类型,用于执行 Flink 程序。对于 Flink 节点:

  • 当程序类型为 Java、Scala 或 Python 时,worker 使用 Flink 命令提交任务 flink run。
  • 当程序类型为 SQL 时,worker 使用sql-client.sh 提交任务。

创建任务

  • 点击项目管理-项目名称-工作流定义,点击"创建工作流"按钮,进入 DAG 编辑页面;
  • 拖动工具栏的 任务节点到画板中。

任务参数

任务样例

执行 WordCount 程序

本案例为大数据生态中常见的入门案例,常应用于 MapReduce、Flink、Spark 等计算框架。主要为统计输入的文本中,相同的单词的数量有多少。

若生产环境中要是使用到 flink 任务类型,则需要先配置好所需的环境。配置文件如下:bin/env/dolphinscheduler_env.sh。

2.任务流程

  • 上传主程序包

在使用 Flink 任务节点时,需要利用资源中心上传执行程序的 jar 包。

当配置完成资源中心之后,直接使用拖拽的方式,即可上传所需目标文件。

  • 配置 Flink 节点

根据上述参数说明,配置所需的内容即可。

  • 执行 FlinkSQL 程序

根据上述参数说明,配置所需的内容即可。

注意事项

  • Java 和 Scala 只是用来标识,没有区别,如果是 Python 开发的 Flink 则没有主函数的 class,其余的都一样。
  • 使用 SQL 执行 Flink SQL 任务,目前只支持 Flink 1.13及以上版本。

原文链接:https://blog.csdn.net/zhengzaifeidelushang/article/details/136687233

本文由 白鲸开源科技 提供发布支持!

相关推荐
panpantt3213 分钟前
【参会邀请】第二届大数据与数据挖掘国际会议(BDDM 2024)邀您相聚江城!
大数据·人工智能·数据挖掘
青云交9 分钟前
大数据新视界 -- 大数据大厂之 Impala 性能优化:跨数据中心环境下的挑战与对策(上)(27 / 30)
大数据·性能优化·impala·案例分析·代码示例·跨数据中心·挑战对策
soso19681 小时前
DataWorks快速入门
大数据·数据仓库·信息可视化
The_Ticker1 小时前
CFD平台如何接入实时行情源
java·大数据·数据库·人工智能·算法·区块链·软件工程
java1234_小锋1 小时前
Elasticsearch中的节点(比如共20个),其中的10个选了一个master,另外10个选了另一个master,怎么办?
大数据·elasticsearch·jenkins
Elastic 中国社区官方博客1 小时前
Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
我的运维人生1 小时前
Elasticsearch实战应用:构建高效搜索与分析平台
大数据·elasticsearch·jenkins·运维开发·技术共享
大数据编程之光1 小时前
Flink Standalone集群模式安装部署全攻略
java·大数据·开发语言·面试·flink
B站计算机毕业设计超人1 小时前
计算机毕业设计SparkStreaming+Kafka旅游推荐系统 旅游景点客流量预测 旅游可视化 旅游大数据 Hive数据仓库 机器学习 深度学习
大数据·数据仓库·hadoop·python·kafka·课程设计·数据可视化
在下不上天3 小时前
Flume日志采集系统的部署,实现flume负载均衡,flume故障恢复
大数据·开发语言·python