Kubernetes 网络实战:打通 Pod、Service 与集群外任务调度器的双向调用
本文由 RuoYi Office 团队整理,结合实际项目分享企业软件的设计思路与开发经验。
将 Java 微服务部署到 Kubernetes 后,常见的一种情况是:Pod Ready,Nacos 里有实例,业务 API 也能访问,但集群外的任务调度中心仍无法执行任务。
这几项结果并不矛盾。业务 HTTP、服务发现和任务执行器,可能使用不同端口、不同注册体系,以及方向相反的网络连接。
本文以 RuoYi Office 实验室为例:业务微服务在 Kubernetes 中运行,XXL-Job 调度中心在集群外的 infra VM 内,以 Docker 容器运行。我们沿一次任务调用需要跨越的边界,说明地址怎么核对、路由怎么生成,以及哪些证据才能说明调用闭环成立。

▲ 能从 Pod 访问调度中心,不能推出调度中心能反向访问 Pod。注册、触发、执行和回调应分别验收。
阅读提示:本文文字与命令中的资源前缀统一显示为
ruoyioffice;截图保留实测环境。执行示例前,请将资源名称替换为自己环境中的实际名称。
一、先把同一服务的三种地址写出来
本案例控制面与 worker 位于 172.28.100.0/24,Pod 网段为 10.244.0.0/16,Service 网段为 10.96.0.0/12。infra VM 地址是 172.28.100.31,并不是 Kubernetes 节点。
2026-10-31 的只读快照中,infra 微服务的三个地址为:
- 节点地址:
rolab-w01,172.28.100.21。 - 当前 Pod IP:
10.244.194.1。 - 业务 Service ClusterIP:
10.107.105.105:8080,对应同一 Pod 的业务 HTTP 端口。
而任务执行器使用同一个 Pod 内的 9999 端口,调度中心通过 infra VM 的 8081 端口暴露管理与执行器交互入口。
这些数字只对应这次采样,Pod 重建后地址可能改变。地址清单应记录时间、环境、对象与端口用途,不能把曾经成功的 IP 永久写进交付文档。

▲ 部署详情用来找到具体运行实例;后续查路由应以当前Pod为目标,不能只看Deployment名称。
把要验证的连接分成几条:
text
业务调用:集群内客户端 → Service:8080 → Pod:8080
业务发现:应用 → Nacos,记录业务实例地址与端口
执行器注册:Pod内执行器 → 调度中心:8081
任务触发/日志读取:调度中心 → 已注册执行器地址:9999
执行结果回调:执行器 → 调度中心:8081
每条连接有自己的发起者。Linux 路由、Docker 转发、代理排除、端口监听和应用鉴权,都要放在正确的发起方向上检查。
二、Nacos健康与Service正常,都不能替代9999验收
本次 Nacos 页面中,infra-server 的实例是 10.244.194.1:8080,健康状态为 true。这能说明当时业务服务的发现状态,不能说明另一个端口已经可被外部调度器访问。

▲ 同一个Pod可以有多个监听端口。Nacos实例与XXL-Job执行器注册是不同的契约,不能混用健康结论。
Kubernetes Service 也需要看完整端口映射。本环境的 infra Service 只发布业务端口:
yaml
spec:
type: ClusterIP
clusterIP: 10.107.105.105
selector:
app: ruoyioffice-module-infra-server
ports:
- name: http
port: 8080
targetPort: 8080
protocol: TCP
来源:当前 Service API 选定字段;ClusterIP为本环境已分配值,不应原样用于新环境创建。

▲ 页面同时显示虚拟IP、selector与实际端点。这个Service没有发布9999;本案例的执行器链路直接使用Pod地址。
Service 的 selector 正确、EndpointSlice 中存在就绪的 Pod,只能证明这一服务映射的组成。外部机器也不会因为 Kubernetes 分配了 ClusterIP 就自动拥有可用路由和Service转发能力。
另一个细节是 containerPort 声明。它不是进程启动命令,也不等于网络防火墙放行规则。实际是否监听9999,要看执行器启动、当前健康端点与网络访问结果;不能因为业务清单只列8080,就断言另一个进程端口绝不存在。
三、把执行器配置与实际监听对应起来
实验室的微服务配置生成器为非网关服务写入 XXL-Job 配置。以 infra 服务为例,去掉敏感值后可表示为:
yaml
xxl:
job:
admin:
addresses: http://172.28.100.31:8081/xxl-job-admin
accessToken: ${XXL_JOB_ACCESS_TOKEN}
executor:
appname: ro-all-cloud-infra-server
port: 9999
logpath: /data/logs/xxl-job
来源:host/Prepare-LabAllCloudDeployment.py 的配置生成逻辑。token占位用于说明凭据注入;实际实验室由受限配置生成运行Secret,不表示当前一定使用该环境变量名。
后端自动配置把这些值交给执行器:
java
XxlJobExecutor xxlJobExecutor = new XxlJobSpringExecutor();
xxlJobExecutor.setIp(executor.getIp());
xxlJobExecutor.setPort(executor.getPort());
xxlJobExecutor.setAppname(executor.getAppName());
xxlJobExecutor.setLogPath(executor.getLogPath());
xxlJobExecutor.setLogRetentionDays(executor.getLogRetentionDays());
xxlJobExecutor.setAdminAddresses(admin.getAddresses());
xxlJobExecutor.setAccessToken(properties.getAccessToken());
return xxlJobExecutor;
来源:后端job starter的执行器自动配置方法,省略注解与类声明。
这里要核对三件事:appname 是否隔离环境;执行器最终登记的地址是否对调度中心可达;两侧 token 是否一致。本文不根据"配置中没有显式IP"就推断任意环境都能正确自动选址,最终应读取实际登记结果或受控执行记录。

▲ 当前执行器所在Pod为10.244.194.1,运行在worker01。Pod IP与节点IP用途不同。
Loki中保留了执行器监听启动日志:
text
xxl-job remoting server start success,
nettype = class com.xxl.job.core.server.EmbedServer,
port = 9999
以上是既有启动日志的核心内容摘录,不是本轮重新启动产生。

▲ 查询覆盖全功能微服务环境的既有启动记录。它证明对应时点启动过监听,不能单独证明今天仍可访问,也不能把多条历史日志当成当前实例数。
因此要继续做当前只读探测,把历史启动、当前路由和当前HTTP响应结合起来。
四、从真实Calico IPAM块生成下一跳
当调度中心在集群外,而执行器向它登记 Pod IP 时,外部发起端必须知道如何到达这个地址。
本实验室没有把整个 Pod CIDR 都交给一个固定控制面中转,而是读取当前 Calico 的 confirmed block affinity,将每个分配块指向实际所属节点。
当前三个块为:
text
10.244.173.128/26 → 172.28.100.11 rolab-cp01
10.244.194.0/26 → 172.28.100.21 rolab-w01
10.244.0.192/26 → 172.28.100.22 rolab-w02
Pod 10.244.194.1 属于第二块,因此 infra VM 上查到的下一跳是 worker01:
bash
ip route get 10.244.194.1
text
10.244.194.1 via 172.28.100.21 dev lab0 src 172.28.100.31
当前只读采样摘录,省略uid与cache行。

▲ 图中的地址与三个IPAM块对应本实验室。容器先到Docker网桥,再由infra VM按Pod块选择实际节点;不是调度器容器直接把worker当作本地默认网关。
路由生成器应该读取实际分配,而不是猜节点网段
可以先用只读脚本生成待审阅的路由清单:
python
import ipaddress, json, subprocess
def read(resource):
return json.loads(subprocess.check_output(
["kubectl", "get", resource, "-o", "json"], text=True))["items"]
nodes = {
n["metadata"]["name"]: next(a["address"] for a in n["status"]["addresses"]
if a["type"] == "InternalIP")
for n in read("nodes")
}
pool = ipaddress.ip_network("10.244.0.0/16")
for affinity in read("blockaffinities.projectcalico.org"):
spec = affinity["spec"]
if spec.get("deleted") or spec["state"] != "confirmed":
continue
block = ipaddress.ip_network(spec["cidr"])
assert block.subnet_of(pool)
print(block, "via", nodes[spec["node"]])
按现有安装编排提炼为仅输出、不应用的检查示例。实际安装器还限制允许的节点地址,生成持久化unit并核对路由表。
这里的 /26 是当前 IPAM 分配块,不应凭节点名写成随意的 /24。节点新增、IP变动、block affinity新增或回收后,都需要重新核对;这套固定三节点路由不是动态路由控制器。
历史安装记录说明:早期经控制面的一条汇总路由出现非对称、有状态转发相关问题,后来改为按块直达owner节点,并完成后续验证。本轮没有重新抓包复现旧故障,因此不把某条具体iptables规则或conntrack行为写成已经证明的唯一根因。
持久化成功,也不能代替重启后验收
当前infra VM的systemd unit使用多个ExecStart:
ini
[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/usr/sbin/ip route replace 10.244.173.128/26 via 172.28.100.11
ExecStart=/usr/sbin/ip route replace 10.244.194.0/26 via 172.28.100.21
ExecStart=/usr/sbin/ip route replace 10.244.0.192/26 via 172.28.100.22
来源:guest/serverlab-pod-route.service的关键片段,省略Unit/Install与旧汇总路由处理;本文没有重新应用或重启该服务。
unit文件存在、服务已启用、当前路由存在、整机重启后路由仍正确,是四种检查。还应确认启动时网络与依赖顺序;如果系统自动恢复是交付要求,需要安排单独的恢复演练。
五、同一台VM,宿主机与Docker调度器也不是同一个网络视角
本案例XXL-Job管理容器接入Docker bridge网络 172.30.10.0/24,宿主对外发布 172.28.100.31:8081 → 容器8080。
本轮在调度器网络命名空间执行路由读取,结果为:
text
10.244.194.1 via 172.30.10.1 dev eth0 src 172.30.10.12
这与infra宿主上的 via 172.28.100.21 dev lab0 不同。两个结果分别描述路径中的不同一段,没有矛盾。
排查时可在有权限的infra VM上执行以下只读命令:
bash
ip route get 10.244.194.1
pid=$(sudo docker inspect --format '{{.State.Pid}}' serverlab-xxl-local)
sudo nsenter -t "$pid" -n ip route get 10.244.194.1
如果只在宿主上curl成功,就宣布Docker中的Java调度器一定成功,仍然漏掉了容器网络、代理、客户端与鉴权配置。
本轮分别从infra宿主,以及调度器的网络命名空间,携带现有token请求执行器 /beat。两处都返回HTTP200、执行器响应code200。命名空间探测进程使用宿主的Python与受限凭据,只切换网络命名空间;它验证同源网络路径,不等于调用了Java调度器内部客户端。
探测实现禁用了环境代理,不打印token。这样可以把"直接网络与鉴权可用"和"调度器自身代理/客户端配置正确"分开判断。任何抓包、日志和命令记录也都不应包含accessToken明文。
六、从健康探测走到任务闭环,还缺哪几项证据
XXL-Job历史验证记录保留了以下结果:
json
{
"authentication": {
"invalidTokenDenied": true,
"authenticatedBeat": true
},
"manualAdminTriggerAccepted": true,
"triggerCode": 200,
"handleCode": 200,
"executorLogMarkerMatched": true,
"temporaryJobAndGroupRemoved": true,
"recurringJobEnabled": false
}
来源:state/xxl-real-execution-verification.json,属于既有临时echo任务的执行记录,不是本轮新触发。
这项历史测试走过真实调度中心到执行器的调用、日志读取与结果回调,测试任务只输出唯一标记,随后移除临时任务与分组,没有启用周期调度,也没有调用生产业务handler。
四项结论应分别记录:
- 健康认证:错误token被拒绝,正确token能访问beat。
- 触发接受:调度中心发起请求,执行器接受这次调度。
- 执行完成:执行结果成功,日志能匹配本次唯一标记。
- 结果回传:调度中心收到执行状态,形成可核对记录。
只有beat200,不代表任务handler存在、脚本可执行、业务事务成功或回调正常。只有日志里出现"开始执行",也不能代替结束状态。
本文把当前健康探测与历史echo闭环分开呈现。没有为截图创建分组、触发任务或改变调度状态;也没有把一次echo任务推广为所有合同提醒、考勤归档和消息通知任务都已验收。
七、按失败位置排查,避免把所有超时都归给Kubernetes
先从调度中心实际要调用的地址开始,确认IP与端口是不是当前执行器,而非旧Pod、业务8080或另一个环境。
然后沿链路缩小范围:
- 无路由或下一跳错误:核对发起端命名空间、infra路由、当前block owner与节点IP。
- TCP超时:核对节点/Pod路径、过滤策略和回程;必要时在受控环境观察SYN/SYN-ACK,不根据一次超时直接认定CNI故障。
- 连接被拒绝:检查目标端口是否监听、Pod是否替换、地址是否过期。
- HTTP成功但应用code失败:继续核对token、协议与执行器响应内容,不能只看HTTP状态码。
- 触发成功但执行失败:看handler、脚本环境、权限、超时、任务日志与业务依赖。
- 执行完成但中心状态不更新:检查执行器到调度中心的回调方向、地址与认证。
这些是诊断分支,不是仅凭症状就能下结论的规则。路由调整也不能替代NetworkPolicy、主机过滤或应用鉴权;每层都应保留自己的边界。
八、静态Pod路由适合哪里,何时需要换方案
本案例节点数量固定、网络可控,适合用实际IPAM块生成路由来做集群外中间件集成。代价是节点和分配变化后要同步维护,并持续核对Pod地址的登记与回收。
当集群经常扩缩、节点跨网段,或中间件由其他团队托管时,可以评估受管路由发布、受支持的网络集成,或将调度中心迁入具备合适网络与安全边界的环境。
也可以研究为执行器提供稳定入口,但必须检查任务系统的实例语义。如果多个执行器实例共用一个随机负载均衡入口,可能改变调度路由、阻塞策略、日志定位和实例对应关系。不能只增加一个NodePort就宣称问题全部解决。
服务发现负责"找到谁",网络负责"如何到达",任务协议负责"请求能否被接受与完成"。把三层边界讲清楚,部署架构才容易维护。
常见问题(FAQ)
Nacos实例健康,为什么XXL-Job仍可能调用失败?
Nacos记录的是业务服务实例,执行器可能监听另一端口,且调度中心位于集群外。需要单独核对执行器地址、反向路径和token。
外部机器能直接访问ClusterIP吗?
不能假定可以。ClusterIP是集群服务虚拟地址,外部环境需具备对应网络与转发条件;本案例执行器使用Pod地址,没有通过业务Service转发9999。
给Pod网段加一条到控制面的路由就够了吗?
取决于实际网络和转发策略。本案例采用按confirmed IPAM块直达所属节点的方案;不应把一条汇总路由当作所有网络环境通用的修复。
beat返回200,是否就算任务验收通过?
还要核对响应体code,并验证触发、执行日志、完成状态和回调。业务任务还需要自己的数据与事务验收。
Pod重建后是否需要手工改任务地址?
取决于自动注册、分组地址模式和实际部署方式。应核对新实例登记与旧地址清理;本案例的临时echo验证使用显式地址,不能据此声称自动迁移已验收。
把一次调用,拆成能独立核对的几段
这条链路的关键不是给服务器多加一条路由,而是从真实发起端核对每一段:业务8080与执行器9999、容器与宿主、Pod块与节点、健康认证与任务完成。
当前只读探测回答"现在网络与认证是否可达",历史echo证据回答"那一次真实任务是否形成闭环"。将两种证据连同时间、范围和未验事项一起保存,才适合作为微服务交付的依据。
如果这篇对你有用,欢迎点赞支持。
我们会持续分享企业软件开发实践与 RuoYi Office 产品进展。