DolPhinScheduler在docker swarm环境下的启动:网卡问题

在Docker Swarm环境下部署DolphinScheduler时,可能会遇到Master节点与Worker节点之间无法通过RPC通信的问题。这通常是由于Master和Worker节点的IP地址与Swarm网络中的IP地址不一致导致的。

一、问题描述

在使用Docker Swarm启动DolphinScheduler集群时,Master节点与Worker节点之间的RPC通信失败。经过排查发现,Master节点和Worker节点注册到Zookeeper中的IP地址并非Swarm网络中的IP地址,而是宿主机的物理网卡IP地址。例如,Master节点的IP地址可能是192.168.56.10,而Worker节点的IP地址可能是192.168.56.9,这些IP地址与Swarm网络中的IP地址(如10.0.0.2)不匹配。

这种IP地址不一致的问题会导致Master节点无法正确找到Worker节点,从而无法正常分发任务。

二、问题分析

先查询zk集群节点的zk信息

进入zk当中

bash 复制代码
./zkCli.sh -server localhost:2181 

查询某一个节点的信息

bash 复制代码
ls /ds/nodes/master  
get /ds/nodes/master  

查询到zk的节点信息(192.168.56.10)跟docker swarm网络当中容器的节点信息(10.0.0.2)不一致

看DolphinScheduler代码,如何获取ip信息

查找到有一个getHost函数

进一步找到可以通过配置参数指定网卡

三、解决方案

指定Swarm网络的网卡接口

启动DolphinScheduler时,在环境变量当中设置如下指定网卡的值

makefile 复制代码
DOLPHIN_SCHEDULER_NETWORK_INTERFACE_PREFERRED: eth0

这样可以确保容器绑定到Swarm网络中指定的网卡接口。

相关推荐
hopsky1 天前
Docker Desktop 报 500
运维·docker·容器
曦云沐1 天前
一键部署ROS2开发环境!Docker run命令详解与实战
docker·容器·ros2
H Journey1 天前
Docker swarm 集群搭建实战
运维·docker·容器
江湖有缘1 天前
Docker环境下使用RustScan端口扫描工具教程
运维·docker·容器
70asunflower1 天前
镜像仓库(Image Registries)详解
linux·docker·容器
青树寒鸦1 天前
wsl的docker备份redis和迁移
redis·docker·容器
岩屿1 天前
Ubuntu下安装Docker并部署.NET API(二)
运维·docker·容器·.net
hopsky1 天前
限制 Docker Desktop 的资源使用
运维·docker·容器
春日见1 天前
docker崩溃,闪退,与vscode断开连接
vscode·docker·容器
Suchadar1 天前
Docker搭建Web测试靶场
运维·docker·容器