利用外部Postgresql及zookeeper,启动Apache Dolphinscheduler3.1.9

Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。

Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种 OPS 编排中的关系。 解决数据研发ETL依赖错综复杂,无法监控任务健康状态的问题。 DolphinScheduler 以 DAG(Directed Acyclic Graph,DAG)流式方式组装任务,可以及时监控任务的执行状态,支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。

模块介绍

dolphinscheduler-master master模块,提供工作流管理和编排服务。

dolphinscheduler-worker worker模块,提供任务执行管理服务。

dolphinscheduler-alert 告警模块,提供 AlertServer 服务。

dolphinscheduler-api web应用模块,提供 ApiServer 服务。

dolphinscheduler-common 通用的常量枚举、工具类、数据结构或者基类

dolphinscheduler-dao 提供数据库访问等操作。

dolphinscheduler-extract extract模块,包含master/worker/alert的sdk

dolphinscheduler-service service模块,包含Quartz、Zookeeper、日志客户端访问服务,便于server模块和api模块调用

dolphinscheduler-ui 前端模块

1.环境

CPU:Hygon C86 7285 32-core Processor

操作系统:麒麟操作系统

Docker版本:28.2.2

Docker compose版本:2.37.2

Dolphinscheduler版本:3.1.9

​​​​​​​1.1网络要求

DolphinScheduler正常运行提供如下的网络端口配置:

|----------------------|--------------|-------------------|
| 组件 | 默认端口 | 说明 |
| MasterServer | 5678 | 非通信端口,只需本机端口不冲突即可 |
| WorkerServer | 1234 | 非通信端口,只需本机端口不冲突即可 |
| ApiApplicationServer | 12345 | 提供后端通信端口 |

2.docker版本的postgresql

docker exec -it postgis /bin/sh

#cd /var/lib/postgresql/data

#mkdir dss

chown -R postgres:postgres /var/lib/postgresql/data/dss

2.1创建数据库及用户

在postgresql中执行

----创建表空间

CREATE TABLESPACE dss_space

OWNER postgres

LOCATION '/var/lib/postgresql/data/dss';

//对应docker中的文件路径 /var/lib/postgresql/data

ALTER TABLESPACE dss_space

OWNER TO postgres;

----创建数据库

CREATE DATABASE dss

WITH

OWNER = postgres

TEMPLATE = template0

ENCODING = 'UTF8'

LC_COLLATE = 'C'

LC_CTYPE = 'C'

TABLESPACE = dss_space

CONNECTION LIMIT = -1;

---创建用户及赋权限

CREATE USER dss WITH PASSWORD 'Sinops1234~';

GRANT ALL PRIVILEGES ON DATABASE dss TO dss;

GRANT ALL PRIVILEGES ON all tables in schema public TO dss;

2.2导入表结构

表结构地址,表结构

​​​​​​​3.启动zookeeper容器

docker run --privileged=true -itd --name zookeeper -p 2181:2181 -e TZ=Asia/Shanghai zookeeper:3.9.3

4.启动dolphinscheduler-standalone-server

docker run --privileged=true -itd --name dss -p 12345:12345 -p 25333:25333 -e DATABASE="postgresql" -e SPRING_DATASOURCE_URL="jdbc:postgresql://192.168.1.4:5432/dss" -e SPRING_DATASOURCE_USERNAME="dss" -e SPRING_DATASOURCE_PASSWORD="Sinops1234~" -e SPRING_JACKSON_TIME_ZONE="UTC" -e TZ=Asia/Shanghai -e dss_ZOOKEEPER_CONNECT_STRING="192.168.1.5:2181" apache/dolphinscheduler-standalone-server:3.1.9

5. 界面

相关推荐
sniper_fandc2 小时前
Elasticsearch从入门到进阶——分布式特性
大数据·分布式·elasticsearch
牛奶咖啡133 小时前
zabbix实现监控Apache、Nginx、php-fpm应用的实操保姆级流程
nginx·apache·zabbix·php-fpm·zabbix监控apache·zabbix监控nginx·zabbix监控php-fpm
hzp6664 小时前
spark动态分区参数spark.sql.sources.partitionOverwriteMode
大数据·hive·分布式·spark·etl·partitionover
幼儿园老大*10 小时前
什么是分布式数据库?有什么优势?
数据库·分布式
武子康11 小时前
大数据-135 ClickHouse 集群连通性自检 + 数据类型避坑实战|10 分钟跑通 ON CLUSTER
大数据·分布式·后端
de之梦-御风14 小时前
【工具分享】另一个免费开源的远程桌面服务-Apache Guacamole
开源·apache
有谁看见我的剑了?15 小时前
Rocky 9 安装 Elasticsearch分布式集群
分布式·elasticsearch·jenkins
你总是一副不开心的样子(´ . .̫ .1 天前
消息队列Kafka
分布式·kafka
沐浴露z1 天前
Kafka入门:基础架构讲解,安装与使用
java·分布式·kafka
摇滚侠1 天前
全面掌握PostgreSQL关系型数据库,备份和恢复,笔记46和笔记47
java·数据库·笔记·postgresql·1024程序员节