DolPhinScheduler在docker swarm环境下的启动:网卡问题

在Docker Swarm环境下部署DolphinScheduler时,可能会遇到Master节点与Worker节点之间无法通过RPC通信的问题。这通常是由于Master和Worker节点的IP地址与Swarm网络中的IP地址不一致导致的。

一、问题描述

在使用Docker Swarm启动DolphinScheduler集群时,Master节点与Worker节点之间的RPC通信失败。经过排查发现,Master节点和Worker节点注册到Zookeeper中的IP地址并非Swarm网络中的IP地址,而是宿主机的物理网卡IP地址。例如,Master节点的IP地址可能是192.168.56.10,而Worker节点的IP地址可能是192.168.56.9,这些IP地址与Swarm网络中的IP地址(如10.0.0.2)不匹配。

这种IP地址不一致的问题会导致Master节点无法正确找到Worker节点,从而无法正常分发任务。

二、问题分析

先查询zk集群节点的zk信息

进入zk当中

bash 复制代码
./zkCli.sh -server localhost:2181 

查询某一个节点的信息

bash 复制代码
ls /ds/nodes/master  
get /ds/nodes/master  

查询到zk的节点信息(192.168.56.10)跟docker swarm网络当中容器的节点信息(10.0.0.2)不一致

看DolphinScheduler代码,如何获取ip信息

查找到有一个getHost函数

进一步找到可以通过配置参数指定网卡

三、解决方案

指定Swarm网络的网卡接口

启动DolphinScheduler时,在环境变量当中设置如下指定网卡的值

makefile 复制代码
DOLPHIN_SCHEDULER_NETWORK_INTERFACE_PREFERRED: eth0

这样可以确保容器绑定到Swarm网络中指定的网卡接口。

相关推荐
qq_452396232 小时前
第十篇:《Dockerfile 最佳实践与镜像瘦身》
docker
Plastic garden2 小时前
Docker(1)
运维·docker·容器
gs801403 小时前
网络隐形杀手:从 Could not connect to SMTP host 报错深度剖析 Docker MTU 黑洞理论与实战
网络·docker·容器
程序猿阿伟4 小时前
《一套完整方法论:搞定图形应用的Docker镜像优化》
数据库·docker·容器
java_logo4 小时前
2026 Docker 国内镜像加速配置教程
运维·docker·容器·docker镜像·docker镜像源·docker镜像加速·docker镜像国内库
IT策士5 小时前
Docker从0到1再到 Kubernetes 实战:第15篇Compose 中的服务依赖、健康检查与启动顺序
docker·容器·kubernetes
“码”力全开5 小时前
深度解析:基于 Docker 与边缘计算的 AI 视频管理平台架构——打通 GB28181/RTSP 协议与“源码交付”的高效集成方案
人工智能·docker·边缘计算
顾默@5 小时前
双系统Ubuntu18.04升级22.04,安装docker进行openclaw安装
运维·docker·容器
木卫二号Coding6 小时前
打包容器有两种方式
docker
蜀道山老天师6 小时前
Docker Compose 多容器编排实战:LNMP、Tomcat 集群、云桌面、Portainer、Zabbix 一键部署
运维·docker·容器·tomcat·zabbix