数仓学习---15、数据仓库工作流调度

1、数据仓库工作流调度

1.1 调度工具部署

工具部署链接

1.2 新数据生成

1.2.1 用户行为日志

1、启动日志采集通道,包括Kafka、Flume等

(1)启动Zookeeper

bash 复制代码
zk.sh start

(2)启动Kafka

bash 复制代码
kf.sh start

(3)启动Flume

bash 复制代码
f1.sh start
f2.sh start

2、修改日志模拟器配置文件

修改hadoop102和hadoop103两台节点中的/opt/module/applog/application.yml文件,修改mock.date参数如下。

复制代码
mock.date: "2020-06-15"

3、执行日志生成脚本

bash 复制代码
lg.sh

4、观察HDFS上是否有2020-06-15的日志数据生成

1.2.2 业务数据

1、修改Maxwell配置文件

(1)修改/opt/module/maxwell/config.properties文件

bash 复制代码
vim /opt/module/maxwell/config.properties

(2)修改mock_date参数设置如下

复制代码
mock_date=2020-06-15

2、启动增量表采集通道,包括Maxwel、Kafka、Flume等

(1)启动Maxwell

bash 复制代码
mxw.sh start

注意:若Maxwell当前正在运行,为确保上述mock参数生效,需重启Maxwell。

(2)启动Flume

bash 复制代码
f3.sh start

(3)修改业务数据模拟器配置文件中的mock_date参数

复制代码
mock.date=2020-06-15

(4)执行业务数据生成命令

bash 复制代码
java -jar gmall2020-mock-db-2021-10-10.jar 

(5)观察HDFS上增量表是否有2020-06-15的数据生成

1.3 工作流调度实操

由于DolphinScheduler集群模式启动进程较多,对虚拟机内存要求较高。故下面提供两种方式,可根据虚拟机内存情况进行选择。

1.3.1 DolphinScheduler集群模式

1、启动DolphinScheduler

bash 复制代码
dolphinscheduler/bin/start-all.sh 

2、使用普通用户登录

3、向DolphinScheduler资源中心上传工作流所需脚本

(1)创建文件夹

(2)上传工作流所需脚本

将工作流所需的所有脚本上传到资源中心scripts路径下,结果如下

4、向DolphinScheduler的WorkerServer节点分发脚本依赖的组件

由于工作流要执行的脚本需要调用Hive、DataX等组件,故在DolphinScheduler的集群模式下,需要确保每个WorkerServer节点都有脚本所依赖的组件。

bash 复制代码
 xsync /opt/module/hive/
 xsync /opt/module/spark/
 xsync /opt/module/datax/

5、创建工作流

(1)在gmall项目下创建工作流

(2)各任务节点配置如下

mysql_to_hdfs_full

hdfs_to_ods_db

hdfs_to_ods_log

ods_to_dwd

ods_to_dim

dwd_to_dws_1d

dws_1d_to_dws_nd

dws_1d_to_dws_td

dws_to_ads

hdfs_to_mysql

(3)各节点依赖关系如下

(4)保存工作流

注意:定时调度时,全局参数值应设置为$[yyyy-MM-dd-1]或者空值。

7、上线工作流

8、执行工作流

相关推荐
lix的小鱼17 分钟前
spark和Hadoop之间的对比和联系
大数据·hadoop·spark
Lalolander23 分钟前
装备制造企业选型:什么样的项目管理系统最合适?
大数据·制造·工程项目管理·装备制造·epc项目管理·项目成本管控·业财一体化
冰茶_26 分钟前
.NET MAUI 发展历程:从 Xamarin 到现代跨平台应用开发框架
学习·microsoft·微软·c#·.net·xamarin
帅云毅44 分钟前
Web3.0的认知补充(去中心化)
笔记·学习·web3·去中心化·区块链
豆豆1 小时前
day32 学习笔记
图像处理·笔记·opencv·学习·计算机视觉
nenchoumi31191 小时前
VLA 论文精读(十六)FP3: A 3D Foundation Policy for Robotic Manipulation
论文阅读·人工智能·笔记·学习·vln
island13141 小时前
【git#4】分支管理 -- 知识补充
大数据·git·elasticsearch
凉、介1 小时前
PCI 总线学习笔记(五)
android·linux·笔记·学习·pcie·pci
SuperSwaggySUP1 小时前
4/25 研0学习日志
学习
LCHub低代码社区1 小时前
钧瓷产业原始创新的许昌共识:技术破壁·产业再造·生态重构(一)
大数据·人工智能·维格云·ai智能体·ai自动化·大禹智库·钧瓷码