2023.11.24 海豚调度,postgres库使用

目录

海豚调度架构dolphinscheduler

[DAG(Directed Acyclic Graph),](#DAG(Directed Acyclic Graph),)

个人自用启动服务


DS的架构(海豚调度)

海豚调度架构dolphinscheduler

注:需要先开启zookeeper服务,才能进行以下操作

通过UI进行工作流的配置操作, 配置完成后, 将其提交执行, 此时执行请求会被API服务接收到, 接收到后, 随机选择一台Master来完成任务的处理(DAG, 任务分配, 资源处理...)(底层最终是有对应schedule具体完成)(Master是去中心化的),完成分配后, 将对应执行的任务交给对应worker(从节点)来执行, worker对应有一个logger服务进行日志的记录, 在执行过程中, 通过logger实时查看执行日志, 当执行完成后, 通知Master, Master进行状态变更,同时告警服务实时监控状态, 一旦发现状态出现异常, 会立即根据所匹配的告警方案, 通知给相关的人员

创建自动化脚本

DAG(Directed Acyclic Graph),

中文名"有向无环图"。"有向"指的是有方向,准确的说应该是同一个方向,"无环"则指够不成闭环

在DAG中,没有区块的概念,他的组成单元是一笔笔的交易,每个单元记录的是单个用户的交易,这样就省去了打包出块的时间。验证手段则依赖于后一笔交易对前一笔交易的验证,换句话说,你要想进行一笔交易,就必须要验证前面的交易,具体验证几个交易,根据不同的规则来进行。这种验证手段,使得DAG可以异步并发的写入很多交易,并最终构成一种拓扑的树状结构,能够极大地提高扩展性。

hadoop 5个 hive2个 cm1个

全开的node1,17个服务

全开的node2 ,6个服务

个人自用启动服务

datax-web启动

cd /export/server/datax-web-2.1.2

./bin/start-all.sh

海豚调度ds启动

cd /export/server/dolphinscheduler/

./bin/start-all.sh

postgres 虚拟机使用pg数据库服务

#psql -h 服务器 -p 端口地址 -d 数据库 -U 用户名

psql -h 127.0.0.1 -p 5432 -d postgres -U postgres

或者

psql -h hadoop01 -d postgres -U postgres

#密码:itcast123

退出 \q

相关推荐
宁zz15 小时前
乌班图安装jenkins
运维·jenkins
无名之逆15 小时前
Rust 开发提效神器:lombok-macros 宏库
服务器·开发语言·前端·数据库·后端·python·rust
大丈夫立于天地间15 小时前
ISIS协议中的数据库同步
运维·网络·信息与通信
你觉得20515 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
cg501715 小时前
Spring Boot 的配置文件
java·linux·spring boot
啊喜拔牙15 小时前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala
别惊鹊15 小时前
MapReduce工作原理
大数据·mapreduce
8K超高清15 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
暮云星影16 小时前
三、FFmpeg学习笔记
linux·ffmpeg
rainFFrain16 小时前
单例模式与线程安全
linux·运维·服务器·vscode·单例模式