dolphinscheduler部署排错记录

dolphinscheduler部署至K8S集群上的遇到的坑

问题

问题出现场景:

​ 在部署完ui, worker, master, api四个模块之后,随手建了一个工作流,点击运行的时候,在master节点上出现这个报错。

猜测原因

发送方发送的消息和接收方接收的消息格式不一致,导致报的这个错,但是程序在本地环境上打包成镜像是可以正常跑流程的,部署到K8S之后就出现了这个问题,代码中间也没有改动过,master和worker之间的RPC消息格式一定是一致的。

因此猜测是有其它请求访问了master或者worker节点,导致出现了这个问题。

排错过程

首先是寻找K8S集群和本地打包镜像的区别,网络通信会有区别,查看dolphinscheduler注册的k8s上的node信息。

在worker和master的pod上分别ping对应的ip,发现都可以通。随后陷入了很长一段时间的懵逼过程。

最后在dolphinscheduler的issue中找到同款报错。

内心狂喜,因为K8S上存在健康检查,而本地搭建镜像并不存在每隔一段时间的健康检查。随后查看健康检查的脚本,发现了在worker节点中,K8S系统会每隔一段时间去访问worker的1234端口,正好是worker用来和master进行RPC通信的端口,随后重写了一个http的健康检查端口,打包发版,问题解决。

相关推荐
瑞克-桑切斯10 小时前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
阿里云云原生10 小时前
我们用 AI 给 AgentLoop 手搓了一套海底世界探秘游戏,并开源了
云原生·agent
阿里云云原生11 小时前
LoongSuite Pilot × Qoder:一次配置,全员可审计
云原生
阿里云云原生12 小时前
把主力模型用在刀刃上:一个月 300 亿 Token、31 万行 Rust 背后的 AI Coding 实践
云原生
对象存储与RustFS13 小时前
对象锁遇上版本化:删掉的对象还在,真删的又删不掉
后端·docker·云原生
遇雪长安14 小时前
wslc 来了:Docker Desktop 还要留着吗?
运维·docker·容器
装不满的克莱因瓶14 小时前
【AI时代必学】一篇文章教会你从零搭建Serverless架构
java·人工智能·ai·云原生·架构·serverless
csdn_aspnet14 小时前
【Docker 攻略】MySQL 安裝篇
运维·mysql·docker·容器
艺杯羹15 小时前
ufw 已 active,Docker 端口却仍对外开放的复盘
运维·docker·容器
阿里云云原生15 小时前
AgentCore 支持 DeepSeek Harness 托管,加速企业生产化验证
云原生