Hadoop生态圈框架部署 伪集群版（十）- DolphinScheduler伪分布式部署

大数据魔法师2024-12-11 14:39

文章目录

  • 前言
  • 一、安装准备
    • [1. 安装版本](#1. 安装版本)
    • [2. 安装条件](#2. 安装条件)
    • [3. 安装psmisc](#3. 安装psmisc)
  • 二、DolphinScheduler部署
    • [1. 下载DolphinScheduler](#1. 下载DolphinScheduler)
    • [2. 解压DolphinScheduler安装包](#2. 解压DolphinScheduler安装包)
      • [2.1 解压](#2.1 解压)
    • [2.2 重命名](#2.2 重命名)
    • [3. 配置DolphinScheduler](#3. 配置DolphinScheduler)
      • [3.1 配置DolphinScheduler环境变量](#3.1 配置DolphinScheduler环境变量)
      • [3.2 修改 install_env.sh 配置文件](#3.2 修改 install_env.sh 配置文件)
      • [3.3 修改 dolphinscheduler_env.sh 文件](#3.3 修改 dolphinscheduler_env.sh 文件)
      • [3.4 配置MySQL驱动包](#3.4 配置MySQL驱动包)
      • [3.5 配置commons-cli-1.5.0.jar包](#3.5 配置commons-cli-1.5.0.jar包)
    • [4. 初始化MySQL上的存储dolphinscheduler元数据的数据库](#4. 初始化MySQL上的存储dolphinscheduler元数据的数据库)
    • [5. 安装DolphinScheduler](#5. 安装DolphinScheduler)
    • [6. 登录 DolphinScheduler](#6. 登录 DolphinScheduler)
    • [7. DolphinScheduler启停命令](#7. DolphinScheduler启停命令)
      • [7.1 一键停止集群所有服务](#7.1 一键停止集群所有服务)
      • [7.2 一键开启集群所有服务](#7.2 一键开启集群所有服务)
      • [7.3 启停 Master](#7.3 启停 Master)
      • [7.4 启停 Worker](#7.4 启停 Worker)
      • [7.5 启停 Api](#7.5 启停 Api)
      • [7.6 启停 Alert](#7.6 启停 Alert)

前言

在当今快速发展的大数据时代，数据处理和分析的需求日益增长。为了满足这些需求，各种各样的工具和技术应运而生，其中分布式任务调度系统扮演着至关重要的角色。Apache DolphinScheduler 是一款开源的分布式易扩展的工作流任务调度系统，它以可视化的方式管理和调度复杂的任务依赖关系，适用于多种业务场景下的定时任务编排。

随着DolphinScheduler社区的不断壮大和发展，版本迭代也愈加频繁，功能愈发强大。本文档旨在为读者提供一份详细的DolphinScheduler 3.1.5版本安装与配置指南，帮助用户顺利地部署并使用这一强大的调度工具。

一、安装准备

1. 安装版本

  • DolphinScheduler 3.1.5

2. 安装条件

  • jdk版本：1.8+
  • MySQL版本：5.7+
  • MySQL驱动版本：8.0.16+
  • zookeeper版本：3.4.6+
  • 进程树分析：psmisc

3. 安装psmisc

执行如下命令安装psmisc。

shell 复制代码 
yum -y install psmisc

安装完成如下图所示。

二、DolphinScheduler部署

1. 下载DolphinScheduler

执行如下命令下载DolphinScheduler的安装包apache-dolphinscheduler-3.1.5-bin.tar.gz到/export/software目录。

shell 复制代码 
wget https://repo.huaweicloud.com/artifactory/apache-local/dolphinscheduler/3.1.5/apache-dolphinscheduler-3.1.5-bin.tar.gz -P /export/software

2. 解压DolphinScheduler安装包

2.1 解压

将DolphinScheduler安装包通过解压方式安装至/export/servers目录。

shell 复制代码 
tar -zxvf /export/software/apache-dolphinscheduler-3.1.5-bin.tar.gz -C /export/servers

解压完成如下图所示。

2.2 重命名

执行如下命令将apache-dolphinscheduler-3.1.5-bin重命名为dolphinscheduler-3.1.5。

shell 复制代码 
mv /export/servers/apache-dolphinscheduler-3.1.5-bin /export/servers/dolphinscheduler-3.1.5

3. 配置DolphinScheduler

3.1 配置DolphinScheduler环境变量

执行如下命令设置DolphinScheduler环境变量，加载系统环境变量配置文件，并查看环境变量是否配置成功。

shell 复制代码 
echo >> /etc/profile
echo 'export DS_HOME=/export/servers/dolphinscheduler-3.1.5' >> /etc/profile
source /etc/profile
echo $DS_HOME

3.2 修改 install_env.sh 配置文件

使用cat命令把安装时环境变量配置内容重定向并写入到/export/servers/dolphinscheduler-3.1.5/bin/env/install_env.sh文件。

shell 复制代码 
cat >/export/servers/dolphinscheduler-3.1.5/bin/env/install_env.sh <<EOF
# 需要安装DolphinScheduler相关组件的主机
ips=\${ips:-"$(hostname)"}
# SSH协议端口号，默认为22。
sshPort=\${sshPort:-"22"}
# 需要安装master节点的主机
masters=\${masters:-"$(hostname)"}
# 需要安装worker节点的主机
workers=\${workers:-"$(hostname):default"}
# 需要安装警报服务的主机
alertServer=\${alertServer:-"$(hostname)"}
# 需要安装api服务的主机
apiServers=\${apiServers:-"$(hostname)"}
# 安装dolphinscheduler的目录。如果不存在，将由install.sh脚本创建。
installPath=\${installPath:-"/export/servers/dolphinscheduler"}
# 部署dolphinscheduler的用户
deployUser=\${deployUser:-"root"}
# zookeeper的根目录，目前DolphinScheduler默认的注册服务器是zookeeper。
zkRoot=\${zkRoot:-"/dolphinscheduler"}
EOF

3.3 修改 dolphinscheduler_env.sh 文件

使用cat命令把dolphinscheduler运行时环境变量配置内容重定向并写入到/export/servers/dolphinscheduler-3.1.5/bin/env/dolphinscheduler_env.sh文件。

shell 复制代码 
cat >/export/servers/dolphinscheduler-3.1.5/bin/env/dolphinscheduler_env.sh <<EOF
# JAVA_HOME, will use it to start DolphinScheduler server
export JAVA_HOME=\${JAVA_HOME:-$JAVA_HOME}
# Database related configuration, set database type, username and password
export DATABASE=\${DATABASE:-mysql}
export SPRING_PROFILES_ACTIVE=\${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:mysql://hadoop:3306/dolphinscheduler?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false"
export SPRING_DATASOURCE_USERNAME="root"
export SPRING_DATASOURCE_PASSWORD="123456"
# DolphinScheduler server related configuration
export SPRING_CACHE_TYPE=\${SPRING_CACHE_TYPE:-none}
export SPRING_JACKSON_TIME_ZONE=\${SPRING_JACKSON_TIME_ZONE:-UTC}
export MASTER_FETCH_COMMAND_NUM=\${MASTER_FETCH_COMMAND_NUM:-10}
# Registry center configuration, determines the type and link of the registry center
export REGISTRY_TYPE=\${REGISTRY_TYPE:-zookeeper}
export REGISTRY_ZOOKEEPER_CONNECT_STRING=\${REGISTRY_ZOOKEEPER_CONNECT_STRING:-hadoop:2181}
# Tasks related configurations, need to change the configuration if you use the related tasks.
export HADOOP_HOME=\${HADOOP_HOME:-$HADOOP_HOME}
export HADOOP_CONF_DIR=\${HADOOP_CONF_DIR:-$HADOOP_HOME/etc/hadoop}
export SPARK_HOME1=\${SPARK_HOME1:-$SPARK_HOME1}
export SPARK_HOME2=\${SPARK_HOME2:-$SPARK_HOME2}
export PYTHON_HOME=\${PYTHON_HOME:-$PYTHON_HOME}
export HIVE_HOME=\${HIVE_HOME:-$HIVE_HOME}
export FLINK_HOME=\${FLINK_HOME:-$FLINK_HOME}
export DATAX_HOME=\${DATAX_HOME:-$DATAX_HOME}
export SEATUNNEL_HOME=\${SEATUNNEL_HOME:-$SEATUNNEL_HOME}
export CHUNJUN_HOME=\${CHUNJUN_HOME:-$CHUNJUN_HOME}
export PATH=\$HADOOP_HOME/bin:\$SPARK_HOME1/bin:\$SPARK_HOME2/bin:\$PYTHON_HOME/bin:\$JAVA_HOME/bin:\$HIVE_HOME/bin:\$FLINK_HOME/bin:\$DATAX_HOME/bin:\$SEATUNNEL_HOME/bin:\$CHUNJUN_HOME/bin:\$PATH
EOF

3.4 配置MySQL驱动包

执行如下命令下载MySQL驱动包到/export/software目录下，并配置MySQL驱动包。

shell 复制代码 
wget https://maven.aliyun.com/repository/public/mysql/mysql-connector-java/8.0.16/mysql-connector-java-8.0.16.jar -P /export/software
cd /export/servers/dolphinscheduler-3.1.5
cp /export/software/mysql-connector-java-8.0.16.jar ./worker-server/libs
cp /export/software/mysql-connector-java-8.0.16.jar ./api-server/libs
cp /export/software/mysql-connector-java-8.0.16.jar ./alert-server/libs
cp /export/software/mysql-connector-java-8.0.16.jar ./master-server/libs
cp /export/software/mysql-connector-java-8.0.16.jar ./tools/libs
cp /export/software/mysql-connector-java-8.0.16.jar ./standalone-server/libs/standalone-server

3.5 配置commons-cli-1.5.0.jar包

执行如下命令下载commons-cli-1.5.0.jar包到/export/software目录下，并配置commons-cli-1.5.0.jar包。

shell 复制代码 
wget https://maven.aliyun.com/repository/public/commons-cli/commons-cli/1.5.0/commons-cli-1.5.0.jar -P /export/software
cd /export/servers/dolphinscheduler-3.1.5
cp /export/software/commons-cli-1.5.0.jar ./worker-server/libs
cp /export/software/commons-cli-1.5.0.jar ./api-server/libs
cp /export/software/commons-cli-1.5.0.jar ./alert-server/libs
cp /export/software/commons-cli-1.5.0.jar ./master-server/libs
cp /export/software/commons-cli-1.5.0.jar ./tools/libs

4. 初始化MySQL上的存储dolphinscheduler元数据的数据库

执行如下命令初始化MySQL上的存储dolphinscheduler元数据的数据库。

shell 复制代码 
bash $DS_HOME/tools/bin/upgrade-schema.sh

初始化完成如下图所示。

5. 安装DolphinScheduler

执行如下命令安装DolphinScheduler。

shell 复制代码 
bash $DS_HOME/bin/install.sh

安装完成如下图所示。

如出现如上图master-server启动失败的情况，试用如下命令启动master-server并查看状态是否正常。

shell 复制代码 
bash $DS_HOME/bin/dolphinscheduler-daemon.sh start master-server
bash $DS_HOME/bin/dolphinscheduler-daemon.sh status master-server

6. 登录 DolphinScheduler

浏览器访问地址http://192.168.121.100:12345/dolphinscheduler/ui即可登录系统UI。默认的用户名是admin，密码是dolphinscheduler123。

输入用户名和密码进行登录后会进入首页。

7. DolphinScheduler启停命令

7.1 一键停止集群所有服务

shell 复制代码 
bash $DS_HOME/bin/stop-all.sh

7.2 一键开启集群所有服务

shell 复制代码 
bash $DS_HOME/bin/start-all.sh

7.3 启停 Master

启动

shell 复制代码 
bash $DS_HOME/bin/dolphinscheduler-daemon.sh start master-server

停止

shell 复制代码 
bash $DS_HOME/bin/dolphinscheduler-daemon.sh stop master-server

查看状态

shell 复制代码 
bash $DS_HOME/bin/dolphinscheduler-daemon.sh status master-server

7.4 启停 Worker

启动

shell 复制代码 
bash $DS_HOME/bin/dolphinscheduler-daemon.sh start worker-server

停止

shell 复制代码 
bash $DS_HOME/bin/dolphinscheduler-daemon.sh stop worker-server

查看状态

shell 复制代码 
bash $DS_HOME/bin/dolphinscheduler-daemon.sh status worker-server

7.5 启停 Api

启动

shell 复制代码 
bash $DS_HOME/bin/dolphinscheduler-daemon.sh start api-server

停止

shell 复制代码 
bash $DS_HOME/bin/dolphinscheduler-daemon.sh stop api-server

查看状态

shell 复制代码 
bash $DS_HOME/bin/dolphinscheduler-daemon.sh status api-server

7.6 启停 Alert

启动

shell 复制代码 
bash $DS_HOME/bin/dolphinscheduler-daemon.sh start alert-server

停止

shell 复制代码 
bash $DS_HOME/bin/dolphinscheduler-daemon.sh stop alert-server

查看状态

shell 复制代码 
bash $DS_HOME/bin/dolphinscheduler-daemon.sh status alert-server
相关推荐
fanchael_kui16 分钟前
使用elasticsearch-java客户端API生成DSL语句
java·大数据·elasticsearch
骇客野人40 分钟前
【JAVA】旅游行业中大数据的使用
大数据·旅游
招风的黑耳2 小时前
构建高效数据管理策略
大数据
帅逼码农2 小时前
Apache Spark
大数据·spark·apache
开源架构师3 小时前
开源架构与云计算的传奇融合
大数据·架构·开源·云计算·应用案例·开源架构·容器化部署
Thanks_ks3 小时前
深入探索现代 IT 技术：从云计算到人工智能的全面解析
大数据·人工智能·物联网·云计算·区块链·数字化转型·it 技术
GDDGHS_3 小时前
Flink自定义数据源
大数据·数据库·flink
王知无(import_bigdata)4 小时前
Flink的Exactly Once语义到底是什么意思？和去重有没有关系？
大数据·flink
jlting1954 小时前
Flink中常见问题总结
大数据·flink
斯普信专业组4 小时前
Elasticsearch高性能实践
大数据·elasticsearch·搜索引擎
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02【halcon】halcon字符识别——OCR03玄机平台应急响应—webshell查杀04Windows11 Copilot助手开启教程(免费GPT-4)0504 - matlab m_map地学绘图工具基础函数 - 设置网格06Docker 夺命连环 15 问07【一文读懂】NTN（非地面网络）技术介绍08支付宝短视频平台创作分成激励项目09PyTorch机器学习实现液态神经网络10『手写ahooks系列-useClickAway』一个hook解决监听点击元素外部