2023.11.24 海豚调度,postgres库使用

目录

海豚调度架构dolphinscheduler

[DAG(Directed Acyclic Graph),](#DAG(Directed Acyclic Graph),)

个人自用启动服务


DS的架构(海豚调度)

海豚调度架构dolphinscheduler

注:需要先开启zookeeper服务,才能进行以下操作

通过UI进行工作流的配置操作, 配置完成后, 将其提交执行, 此时执行请求会被API服务接收到, 接收到后, 随机选择一台Master来完成任务的处理(DAG, 任务分配, 资源处理...)(底层最终是有对应schedule具体完成)(Master是去中心化的),完成分配后, 将对应执行的任务交给对应worker(从节点)来执行, worker对应有一个logger服务进行日志的记录, 在执行过程中, 通过logger实时查看执行日志, 当执行完成后, 通知Master, Master进行状态变更,同时告警服务实时监控状态, 一旦发现状态出现异常, 会立即根据所匹配的告警方案, 通知给相关的人员

创建自动化脚本

DAG(Directed Acyclic Graph),

中文名"有向无环图"。"有向"指的是有方向,准确的说应该是同一个方向,"无环"则指够不成闭环

在DAG中,没有区块的概念,他的组成单元是一笔笔的交易,每个单元记录的是单个用户的交易,这样就省去了打包出块的时间。验证手段则依赖于后一笔交易对前一笔交易的验证,换句话说,你要想进行一笔交易,就必须要验证前面的交易,具体验证几个交易,根据不同的规则来进行。这种验证手段,使得DAG可以异步并发的写入很多交易,并最终构成一种拓扑的树状结构,能够极大地提高扩展性。

hadoop 5个 hive2个 cm1个

全开的node1,17个服务

全开的node2 ,6个服务

个人自用启动服务

datax-web启动

cd /export/server/datax-web-2.1.2

./bin/start-all.sh

海豚调度ds启动

cd /export/server/dolphinscheduler/

./bin/start-all.sh

postgres 虚拟机使用pg数据库服务

#psql -h 服务器 -p 端口地址 -d 数据库 -U 用户名

psql -h 127.0.0.1 -p 5432 -d postgres -U postgres

或者

psql -h hadoop01 -d postgres -U postgres

#密码:itcast123

退出 \q

相关推荐
IT大白鼠11 小时前
彭大帅的AI运维助手第 10 篇——K8s 集群探针升级记:从服务级到业务级
运维·kubernetes·aiops·彭大帅
多弗朗皮卡丘15 小时前
网络基础:数据链路层与其他协议或技术
linux·网络·tcp/ip
考虑考虑17 小时前
nginx拦截url
运维·后端·nginx
数字新视界18 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术18 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
速捷工控 PLC触摸屏还原程序18 小时前
欧姆龙NB上传密码忘了,换屏前怎么保留原程序?
运维·服务器·欧姆龙
方便面不加香菜19 小时前
Docker Volume -- 对照总结及综合实战案例操作演示
运维·docker·容器
爱勇宝19 小时前
SSL 证书别再手动续了:acme.sh + Let's Encrypt + 云厂商 DNS 全自动实战
运维·服务器
数据库小学妹20 小时前
数据库容量规划:四个数与扩容触发线
运维·数据库·后端