利用外部Postgresql及zookeeper,启动Apache Dolphinscheduler3.1.9

Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。

Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种 OPS 编排中的关系。 解决数据研发ETL依赖错综复杂,无法监控任务健康状态的问题。 DolphinScheduler 以 DAG(Directed Acyclic Graph,DAG)流式方式组装任务,可以及时监控任务的执行状态,支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。

模块介绍

dolphinscheduler-master master模块,提供工作流管理和编排服务。

dolphinscheduler-worker worker模块,提供任务执行管理服务。

dolphinscheduler-alert 告警模块,提供 AlertServer 服务。

dolphinscheduler-api web应用模块,提供 ApiServer 服务。

dolphinscheduler-common 通用的常量枚举、工具类、数据结构或者基类

dolphinscheduler-dao 提供数据库访问等操作。

dolphinscheduler-extract extract模块,包含master/worker/alert的sdk

dolphinscheduler-service service模块,包含Quartz、Zookeeper、日志客户端访问服务,便于server模块和api模块调用

dolphinscheduler-ui 前端模块

1.环境

CPU:Hygon C86 7285 32-core Processor

操作系统:麒麟操作系统

Docker版本:28.2.2

Docker compose版本:2.37.2

Dolphinscheduler版本:3.1.9

​​​​​​​1.1网络要求

DolphinScheduler正常运行提供如下的网络端口配置:

|----------------------|--------------|-------------------|
| 组件 | 默认端口 | 说明 |
| MasterServer | 5678 | 非通信端口,只需本机端口不冲突即可 |
| WorkerServer | 1234 | 非通信端口,只需本机端口不冲突即可 |
| ApiApplicationServer | 12345 | 提供后端通信端口 |

2.docker版本的postgresql

docker exec -it postgis /bin/sh

#cd /var/lib/postgresql/data

#mkdir dss

chown -R postgres:postgres /var/lib/postgresql/data/dss

2.1创建数据库及用户

在postgresql中执行

----创建表空间

CREATE TABLESPACE dss_space

OWNER postgres

LOCATION '/var/lib/postgresql/data/dss';

//对应docker中的文件路径 /var/lib/postgresql/data

ALTER TABLESPACE dss_space

OWNER TO postgres;

----创建数据库

CREATE DATABASE dss

WITH

OWNER = postgres

TEMPLATE = template0

ENCODING = 'UTF8'

LC_COLLATE = 'C'

LC_CTYPE = 'C'

TABLESPACE = dss_space

CONNECTION LIMIT = -1;

---创建用户及赋权限

CREATE USER dss WITH PASSWORD 'Sinops1234~';

GRANT ALL PRIVILEGES ON DATABASE dss TO dss;

GRANT ALL PRIVILEGES ON all tables in schema public TO dss;

2.2导入表结构

表结构地址,表结构

​​​​​​​3.启动zookeeper容器

docker run --privileged=true -itd --name zookeeper -p 2181:2181 -e TZ=Asia/Shanghai zookeeper:3.9.3

4.启动dolphinscheduler-standalone-server

docker run --privileged=true -itd --name dss -p 12345:12345 -p 25333:25333 -e DATABASE="postgresql" -e SPRING_DATASOURCE_URL="jdbc:postgresql://192.168.1.4:5432/dss" -e SPRING_DATASOURCE_USERNAME="dss" -e SPRING_DATASOURCE_PASSWORD="Sinops1234~" -e SPRING_JACKSON_TIME_ZONE="UTC" -e TZ=Asia/Shanghai -e dss_ZOOKEEPER_CONNECT_STRING="192.168.1.5:2181" apache/dolphinscheduler-standalone-server:3.1.9

5. 界面

相关推荐
Doris_LMS14 分钟前
保姆级别IDEA关联数据库方式、在IDEA中进行数据库的可视化操作(包含图解过程)
java·mysql·postgresql
lang2015092830 分钟前
使用 Docker 部署 Apache RocketMQ
docker·apache·rocketmq
吃不得辣条2 小时前
网络安全之防火墙
网络·web安全·apache
lang201509283 小时前
Apache RocketMQ中 Consumer Group(消费者组)的详细说明
apache·rocketmq
lang201509285 小时前
Apache Ignite Data Streaming 案例 QueryWords
apache·ignite
m0_653031366 小时前
一套视频快速入门并精通PostgreSQL
数据库·postgresql
思辨共悟11 小时前
Kafka简述及学习课程
分布式·kafka
Code季风12 小时前
从超卖到数据一致:分布式锁的最佳实践与演进历程
分布式·微服务·go
Code季风12 小时前
深入理解 Redis 分布式锁:实现互斥保障的最佳实践
redis·分布式·微服务
lifallen12 小时前
hadoop.yarn 带时间的LRU 延迟删除
java·大数据·数据结构·hadoop·分布式·算法