Kubernetes 网络实战:打通 Pod、Service 与集群外任务调度器的双向调用

Kubernetes 网络实战:打通 Pod、Service 与集群外任务调度器的双向调用

本文由 RuoYi Office 团队整理,结合实际项目分享企业软件的设计思路与开发经验。

将 Java 微服务部署到 Kubernetes 后,常见的一种情况是:Pod Ready,Nacos 里有实例,业务 API 也能访问,但集群外的任务调度中心仍无法执行任务。

这几项结果并不矛盾。业务 HTTP、服务发现和任务执行器,可能使用不同端口、不同注册体系,以及方向相反的网络连接。

本文以 RuoYi Office 实验室为例:业务微服务在 Kubernetes 中运行,XXL-Job 调度中心在集群外的 infra VM 内,以 Docker 容器运行。我们沿一次任务调用需要跨越的边界,说明地址怎么核对、路由怎么生成,以及哪些证据才能说明调用闭环成立。

▲ 能从 Pod 访问调度中心,不能推出调度中心能反向访问 Pod。注册、触发、执行和回调应分别验收。

阅读提示:本文文字与命令中的资源前缀统一显示为 ruoyioffice;截图保留实测环境。执行示例前,请将资源名称替换为自己环境中的实际名称。

一、先把同一服务的三种地址写出来

本案例控制面与 worker 位于 172.28.100.0/24,Pod 网段为 10.244.0.0/16,Service 网段为 10.96.0.0/12。infra VM 地址是 172.28.100.31,并不是 Kubernetes 节点。

2026-10-31 的只读快照中,infra 微服务的三个地址为:

  • 节点地址:rolab-w01,172.28.100.21。
  • 当前 Pod IP:10.244.194.1。
  • 业务 Service ClusterIP:10.107.105.105:8080,对应同一 Pod 的业务 HTTP 端口。

而任务执行器使用同一个 Pod 内的 9999 端口,调度中心通过 infra VM 的 8081 端口暴露管理与执行器交互入口。

这些数字只对应这次采样,Pod 重建后地址可能改变。地址清单应记录时间、环境、对象与端口用途,不能把曾经成功的 IP 永久写进交付文档。

▲ 部署详情用来找到具体运行实例;后续查路由应以当前Pod为目标,不能只看Deployment名称。

把要验证的连接分成几条:

text 复制代码
业务调用:集群内客户端 → Service:8080 → Pod:8080
业务发现:应用 → Nacos,记录业务实例地址与端口
执行器注册:Pod内执行器 → 调度中心:8081
任务触发/日志读取:调度中心 → 已注册执行器地址:9999
执行结果回调:执行器 → 调度中心:8081

每条连接有自己的发起者。Linux 路由、Docker 转发、代理排除、端口监听和应用鉴权,都要放在正确的发起方向上检查。

二、Nacos健康与Service正常,都不能替代9999验收

本次 Nacos 页面中,infra-server 的实例是 10.244.194.1:8080,健康状态为 true。这能说明当时业务服务的发现状态,不能说明另一个端口已经可被外部调度器访问。

▲ 同一个Pod可以有多个监听端口。Nacos实例与XXL-Job执行器注册是不同的契约,不能混用健康结论。

Kubernetes Service 也需要看完整端口映射。本环境的 infra Service 只发布业务端口:

yaml 复制代码
spec:
  type: ClusterIP
  clusterIP: 10.107.105.105
  selector:
    app: ruoyioffice-module-infra-server
  ports:
    - name: http
      port: 8080
      targetPort: 8080
      protocol: TCP

来源:当前 Service API 选定字段;ClusterIP为本环境已分配值,不应原样用于新环境创建。

▲ 页面同时显示虚拟IP、selector与实际端点。这个Service没有发布9999;本案例的执行器链路直接使用Pod地址。

Service 的 selector 正确、EndpointSlice 中存在就绪的 Pod,只能证明这一服务映射的组成。外部机器也不会因为 Kubernetes 分配了 ClusterIP 就自动拥有可用路由和Service转发能力。

另一个细节是 containerPort 声明。它不是进程启动命令,也不等于网络防火墙放行规则。实际是否监听9999,要看执行器启动、当前健康端点与网络访问结果;不能因为业务清单只列8080,就断言另一个进程端口绝不存在。

三、把执行器配置与实际监听对应起来

实验室的微服务配置生成器为非网关服务写入 XXL-Job 配置。以 infra 服务为例,去掉敏感值后可表示为:

yaml 复制代码
xxl:
  job:
    admin:
      addresses: http://172.28.100.31:8081/xxl-job-admin
    accessToken: ${XXL_JOB_ACCESS_TOKEN}
    executor:
      appname: ro-all-cloud-infra-server
      port: 9999
      logpath: /data/logs/xxl-job

来源:host/Prepare-LabAllCloudDeployment.py 的配置生成逻辑。token占位用于说明凭据注入;实际实验室由受限配置生成运行Secret,不表示当前一定使用该环境变量名。

后端自动配置把这些值交给执行器:

java 复制代码
XxlJobExecutor xxlJobExecutor = new XxlJobSpringExecutor();
xxlJobExecutor.setIp(executor.getIp());
xxlJobExecutor.setPort(executor.getPort());
xxlJobExecutor.setAppname(executor.getAppName());
xxlJobExecutor.setLogPath(executor.getLogPath());
xxlJobExecutor.setLogRetentionDays(executor.getLogRetentionDays());
xxlJobExecutor.setAdminAddresses(admin.getAddresses());
xxlJobExecutor.setAccessToken(properties.getAccessToken());
return xxlJobExecutor;

来源:后端job starter的执行器自动配置方法,省略注解与类声明。

这里要核对三件事:appname 是否隔离环境;执行器最终登记的地址是否对调度中心可达;两侧 token 是否一致。本文不根据"配置中没有显式IP"就推断任意环境都能正确自动选址,最终应读取实际登记结果或受控执行记录。

▲ 当前执行器所在Pod为10.244.194.1,运行在worker01。Pod IP与节点IP用途不同。

Loki中保留了执行器监听启动日志:

text 复制代码
xxl-job remoting server start success,
nettype = class com.xxl.job.core.server.EmbedServer,
port = 9999

以上是既有启动日志的核心内容摘录,不是本轮重新启动产生。

▲ 查询覆盖全功能微服务环境的既有启动记录。它证明对应时点启动过监听,不能单独证明今天仍可访问,也不能把多条历史日志当成当前实例数。

因此要继续做当前只读探测,把历史启动、当前路由和当前HTTP响应结合起来。

四、从真实Calico IPAM块生成下一跳

当调度中心在集群外,而执行器向它登记 Pod IP 时,外部发起端必须知道如何到达这个地址。

本实验室没有把整个 Pod CIDR 都交给一个固定控制面中转,而是读取当前 Calico 的 confirmed block affinity,将每个分配块指向实际所属节点。

当前三个块为:

text 复制代码
10.244.173.128/26 → 172.28.100.11  rolab-cp01
10.244.194.0/26   → 172.28.100.21  rolab-w01
10.244.0.192/26   → 172.28.100.22  rolab-w02

Pod 10.244.194.1 属于第二块,因此 infra VM 上查到的下一跳是 worker01:

bash 复制代码
ip route get 10.244.194.1
text 复制代码
10.244.194.1 via 172.28.100.21 dev lab0 src 172.28.100.31

当前只读采样摘录,省略uid与cache行。

▲ 图中的地址与三个IPAM块对应本实验室。容器先到Docker网桥,再由infra VM按Pod块选择实际节点;不是调度器容器直接把worker当作本地默认网关。

路由生成器应该读取实际分配,而不是猜节点网段

可以先用只读脚本生成待审阅的路由清单:

python 复制代码
import ipaddress, json, subprocess

def read(resource):
    return json.loads(subprocess.check_output(
        ["kubectl", "get", resource, "-o", "json"], text=True))["items"]

nodes = {
    n["metadata"]["name"]: next(a["address"] for a in n["status"]["addresses"]
                              if a["type"] == "InternalIP")
    for n in read("nodes")
}
pool = ipaddress.ip_network("10.244.0.0/16")
for affinity in read("blockaffinities.projectcalico.org"):
    spec = affinity["spec"]
    if spec.get("deleted") or spec["state"] != "confirmed":
        continue
    block = ipaddress.ip_network(spec["cidr"])
    assert block.subnet_of(pool)
    print(block, "via", nodes[spec["node"]])

按现有安装编排提炼为仅输出、不应用的检查示例。实际安装器还限制允许的节点地址,生成持久化unit并核对路由表。

这里的 /26 是当前 IPAM 分配块,不应凭节点名写成随意的 /24。节点新增、IP变动、block affinity新增或回收后,都需要重新核对;这套固定三节点路由不是动态路由控制器。

历史安装记录说明:早期经控制面的一条汇总路由出现非对称、有状态转发相关问题,后来改为按块直达owner节点,并完成后续验证。本轮没有重新抓包复现旧故障,因此不把某条具体iptables规则或conntrack行为写成已经证明的唯一根因。

持久化成功,也不能代替重启后验收

当前infra VM的systemd unit使用多个ExecStart:

ini 复制代码
[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/usr/sbin/ip route replace 10.244.173.128/26 via 172.28.100.11
ExecStart=/usr/sbin/ip route replace 10.244.194.0/26 via 172.28.100.21
ExecStart=/usr/sbin/ip route replace 10.244.0.192/26 via 172.28.100.22

来源:guest/serverlab-pod-route.service的关键片段,省略Unit/Install与旧汇总路由处理;本文没有重新应用或重启该服务。

unit文件存在、服务已启用、当前路由存在、整机重启后路由仍正确,是四种检查。还应确认启动时网络与依赖顺序;如果系统自动恢复是交付要求,需要安排单独的恢复演练。

五、同一台VM,宿主机与Docker调度器也不是同一个网络视角

本案例XXL-Job管理容器接入Docker bridge网络 172.30.10.0/24,宿主对外发布 172.28.100.31:8081 → 容器8080。

本轮在调度器网络命名空间执行路由读取,结果为:

text 复制代码
10.244.194.1 via 172.30.10.1 dev eth0 src 172.30.10.12

这与infra宿主上的 via 172.28.100.21 dev lab0 不同。两个结果分别描述路径中的不同一段,没有矛盾。

排查时可在有权限的infra VM上执行以下只读命令:

bash 复制代码
ip route get 10.244.194.1
pid=$(sudo docker inspect --format '{{.State.Pid}}' serverlab-xxl-local)
sudo nsenter -t "$pid" -n ip route get 10.244.194.1

如果只在宿主上curl成功,就宣布Docker中的Java调度器一定成功,仍然漏掉了容器网络、代理、客户端与鉴权配置。

本轮分别从infra宿主,以及调度器的网络命名空间,携带现有token请求执行器 /beat。两处都返回HTTP200、执行器响应code200。命名空间探测进程使用宿主的Python与受限凭据,只切换网络命名空间;它验证同源网络路径,不等于调用了Java调度器内部客户端。

探测实现禁用了环境代理,不打印token。这样可以把"直接网络与鉴权可用"和"调度器自身代理/客户端配置正确"分开判断。任何抓包、日志和命令记录也都不应包含accessToken明文。

六、从健康探测走到任务闭环,还缺哪几项证据

XXL-Job历史验证记录保留了以下结果:

json 复制代码
{
  "authentication": {
    "invalidTokenDenied": true,
    "authenticatedBeat": true
  },
  "manualAdminTriggerAccepted": true,
  "triggerCode": 200,
  "handleCode": 200,
  "executorLogMarkerMatched": true,
  "temporaryJobAndGroupRemoved": true,
  "recurringJobEnabled": false
}

来源:state/xxl-real-execution-verification.json,属于既有临时echo任务的执行记录,不是本轮新触发。

这项历史测试走过真实调度中心到执行器的调用、日志读取与结果回调,测试任务只输出唯一标记,随后移除临时任务与分组,没有启用周期调度,也没有调用生产业务handler。

四项结论应分别记录:

  1. 健康认证:错误token被拒绝,正确token能访问beat。
  2. 触发接受:调度中心发起请求,执行器接受这次调度。
  3. 执行完成:执行结果成功,日志能匹配本次唯一标记。
  4. 结果回传:调度中心收到执行状态,形成可核对记录。

只有beat200,不代表任务handler存在、脚本可执行、业务事务成功或回调正常。只有日志里出现"开始执行",也不能代替结束状态。

本文把当前健康探测与历史echo闭环分开呈现。没有为截图创建分组、触发任务或改变调度状态;也没有把一次echo任务推广为所有合同提醒、考勤归档和消息通知任务都已验收。

七、按失败位置排查,避免把所有超时都归给Kubernetes

先从调度中心实际要调用的地址开始,确认IP与端口是不是当前执行器,而非旧Pod、业务8080或另一个环境。

然后沿链路缩小范围:

  • 无路由或下一跳错误:核对发起端命名空间、infra路由、当前block owner与节点IP。
  • TCP超时:核对节点/Pod路径、过滤策略和回程;必要时在受控环境观察SYN/SYN-ACK,不根据一次超时直接认定CNI故障。
  • 连接被拒绝:检查目标端口是否监听、Pod是否替换、地址是否过期。
  • HTTP成功但应用code失败:继续核对token、协议与执行器响应内容,不能只看HTTP状态码。
  • 触发成功但执行失败:看handler、脚本环境、权限、超时、任务日志与业务依赖。
  • 执行完成但中心状态不更新:检查执行器到调度中心的回调方向、地址与认证。

这些是诊断分支,不是仅凭症状就能下结论的规则。路由调整也不能替代NetworkPolicy、主机过滤或应用鉴权;每层都应保留自己的边界。

八、静态Pod路由适合哪里,何时需要换方案

本案例节点数量固定、网络可控,适合用实际IPAM块生成路由来做集群外中间件集成。代价是节点和分配变化后要同步维护,并持续核对Pod地址的登记与回收。

当集群经常扩缩、节点跨网段,或中间件由其他团队托管时,可以评估受管路由发布、受支持的网络集成,或将调度中心迁入具备合适网络与安全边界的环境。

也可以研究为执行器提供稳定入口,但必须检查任务系统的实例语义。如果多个执行器实例共用一个随机负载均衡入口,可能改变调度路由、阻塞策略、日志定位和实例对应关系。不能只增加一个NodePort就宣称问题全部解决。

服务发现负责"找到谁",网络负责"如何到达",任务协议负责"请求能否被接受与完成"。把三层边界讲清楚,部署架构才容易维护。

常见问题(FAQ)

Nacos实例健康,为什么XXL-Job仍可能调用失败?

Nacos记录的是业务服务实例,执行器可能监听另一端口,且调度中心位于集群外。需要单独核对执行器地址、反向路径和token。

外部机器能直接访问ClusterIP吗?

不能假定可以。ClusterIP是集群服务虚拟地址,外部环境需具备对应网络与转发条件;本案例执行器使用Pod地址,没有通过业务Service转发9999。

给Pod网段加一条到控制面的路由就够了吗?

取决于实际网络和转发策略。本案例采用按confirmed IPAM块直达所属节点的方案;不应把一条汇总路由当作所有网络环境通用的修复。

beat返回200,是否就算任务验收通过?

还要核对响应体code,并验证触发、执行日志、完成状态和回调。业务任务还需要自己的数据与事务验收。

Pod重建后是否需要手工改任务地址?

取决于自动注册、分组地址模式和实际部署方式。应核对新实例登记与旧地址清理;本案例的临时echo验证使用显式地址,不能据此声称自动迁移已验收。

把一次调用,拆成能独立核对的几段

这条链路的关键不是给服务器多加一条路由,而是从真实发起端核对每一段:业务8080与执行器9999、容器与宿主、Pod块与节点、健康认证与任务完成。

当前只读探测回答"现在网络与认证是否可达",历史echo证据回答"那一次真实任务是否形成闭环"。将两种证据连同时间、范围和未验事项一起保存,才适合作为微服务交付的依据。

如果这篇对你有用,欢迎点赞支持。

我们会持续分享企业软件开发实践与 RuoYi Office 产品进展。

相关推荐
csdn_aspnet6 小时前
Docker 啟動MySQL Server連上MySQL Workbench
mysql·docker·容器
月夏7 小时前
我把全栈项目塞进已有 nginx 的服务器,卡我最久的是三个斜杠
nginx·react.js·docker
瑞克-桑切斯1 天前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
对象存储与RustFS1 天前
对象锁遇上版本化:删掉的对象还在,真删的又删不掉
后端·docker·云原生
遇雪长安1 天前
wslc 来了:Docker Desktop 还要留着吗?
运维·docker·容器
csdn_aspnet1 天前
【Docker 攻略】MySQL 安裝篇
运维·mysql·docker·容器
艺杯羹1 天前
ufw 已 active,Docker 端口却仍对外开放的复盘
运维·docker·容器
goehou1 天前
healthcheck 配了不生效,depends_on 默认只等容器起来
docker·容器编排·ai agent·healthcheck
木头左1 天前
【Linux运维】服务器磁盘清理与Docker日志治理实战:一次巡检释放70G空间
linux·docker·磁盘清理·日志治理