2023.11.24 海豚调度,postgres库使用

目录

海豚调度架构dolphinscheduler

[DAG(Directed Acyclic Graph),](#DAG(Directed Acyclic Graph),)

个人自用启动服务


DS的架构(海豚调度)

海豚调度架构dolphinscheduler

注:需要先开启zookeeper服务,才能进行以下操作

通过UI进行工作流的配置操作, 配置完成后, 将其提交执行, 此时执行请求会被API服务接收到, 接收到后, 随机选择一台Master来完成任务的处理(DAG, 任务分配, 资源处理...)(底层最终是有对应schedule具体完成)(Master是去中心化的),完成分配后, 将对应执行的任务交给对应worker(从节点)来执行, worker对应有一个logger服务进行日志的记录, 在执行过程中, 通过logger实时查看执行日志, 当执行完成后, 通知Master, Master进行状态变更,同时告警服务实时监控状态, 一旦发现状态出现异常, 会立即根据所匹配的告警方案, 通知给相关的人员

创建自动化脚本

DAG(Directed Acyclic Graph),

中文名"有向无环图"。"有向"指的是有方向,准确的说应该是同一个方向,"无环"则指够不成闭环

在DAG中,没有区块的概念,他的组成单元是一笔笔的交易,每个单元记录的是单个用户的交易,这样就省去了打包出块的时间。验证手段则依赖于后一笔交易对前一笔交易的验证,换句话说,你要想进行一笔交易,就必须要验证前面的交易,具体验证几个交易,根据不同的规则来进行。这种验证手段,使得DAG可以异步并发的写入很多交易,并最终构成一种拓扑的树状结构,能够极大地提高扩展性。

hadoop 5个 hive2个 cm1个

全开的node1,17个服务

全开的node2 ,6个服务

个人自用启动服务

datax-web启动

cd /export/server/datax-web-2.1.2

./bin/start-all.sh

海豚调度ds启动

cd /export/server/dolphinscheduler/

./bin/start-all.sh

postgres 虚拟机使用pg数据库服务

#psql -h 服务器 -p 端口地址 -d 数据库 -U 用户名

psql -h 127.0.0.1 -p 5432 -d postgres -U postgres

或者

psql -h hadoop01 -d postgres -U postgres

#密码:itcast123

退出 \q

相关推荐
文牧之几秒前
PostgreSQL 常用日志
运维·数据库·postgresql
蓝莓味柯基5 分钟前
DevOps:概念与学习路径
运维·学习·devops
24k小善12 分钟前
FlinkSql入门与实践
java·大数据·flink·云计算
Leo.yuan12 分钟前
产销协同的作用是什么?又如何对各部门发挥作用?
大数据·信息可视化·数据分析·需求分析·企业数字化
帅帅的Python19 分钟前
2015-2023 各省 GDP 数据,用QuickBI 进行数据可视化——堆叠图!
大数据·人工智能
FJW02081421 分钟前
【Linux】web服务器的部署和优化
linux·运维·服务器·rhce
Linux运维老纪28 分钟前
Python文件操作及数据库交互(Python File Manipulation and Database Interaction)
linux·服务器·数据库·python·云计算·运维开发
weixin_4307509328 分钟前
智能小助手部署 Win10 + ollama的Deepseek + CentOS+ maxKB
linux·人工智能·机器学习·语言模型·自然语言处理·centos
有谁看见我的剑了?36 分钟前
docker 运行时权限和 Linux 能力了解
linux·docker·容器
平生不喜凡桃李39 分钟前
Linux 进程控制
linux·运维·服务器