网络、API 连接和 pod 启动的问题

问题如下:

  • ArgoCD 和 Prometheus/Grafana 服务的网络连通性差,出现了如 ImagePullBackOff、CrashLoopBackOff、i/o timeout 等错误。

  • 你尝试访问相关服务时,出现了 No route to host 或 connection refused 错误。

  • 证书相关错误或 K8S 服务间的连接无法建立,导致应用无法启动和运行。

问题根源:

  • CNI (Calico) 网络配置问题 :Calico 没有正确设置或接口未启用,导致 Pod 网络无法正常工作。特别是 tunl0 或 vxlan 等接口的状态为 UNKNOWN,并且没有正确的路由设置。

  • 内核参数问题 :如 ip_forward 和 rp_filter 设置不正确,影响到网络转发和封装。

  • Kubernetes 网络策略问题:防火墙设置或路由规则可能限制了 Pod 和节点之间的通信。

  • ArgoCD API 连接超时 :由于无法连接到集群的 localhost:8080,导致 ArgoCD 无法拉取目标状态。

解决方法:

(1) 检查网络与接口状态:
  • 使用 ip addr 确认了网络接口(如 tunl0 或 vxlan)是否存在,且接口是否处于 UP 状态。

  • 使用 ip route 确保路由正确,包括 Pod 网段路由(如 10.244.1.0/24)是否通过 Calico 接口。

  • 通过 sysctl 命令检查并修改了内核参数,确保启用了 IP 转发,并关闭了 rp_filter(反向路径过滤)。

(2) 重启 Calico 网络组件:
  • 在节点上重启了 calico-node Pod,确保 CNI 插件重新初始化并恢复正常的网络连接。

  • 使用命令 kubectl -n kube-system delete pod -l k8s-app=calico-node 来清除并重启 Calico 节点。

(3) 检查与修复 Kubernetes 网络策略:
  • 确保了节点与 Pod 之间的连接没有被 iptables 防火墙规则或 Calico 网络策略拦截。

  • 如果在防火墙和路由规则中发现问题,通过修改 iptables 设置来恢复正确的网络连接。

(4) 恢复 ArgoCD / Prometheus 服务:
  • 解决了网络问题后,重启了 ArgoCD 和 Prometheus 相关的 Pods 和 Deployment(通过 kubectl rollout restart 命令),确保它们能够重新连接并正常运行。

  • 修复了连接超时和 i/o timeout 错误,恢复了 UI 访问和应用管理。

(5) 测试与验证:
  • 使用 curl 命令验证了 Kubernetes API Server 是否可达(通过 https://<API_SERVER_IP>:6443/healthz)。

  • 确保了节点之间的网络连接恢复正常,使用 ping 和 wget 测试了 pod 间的连接。

  • 确保了在重启 Calico 后,Pod 网络接口和路由恢复正常。

相关推荐
IT大白鼠39 分钟前
eBPF 观测入门:用 bpftrace 给服务器装上“内核摄像头“
运维·服务器·ebpf
分布式存储与RustFS1 小时前
Zeppelin 笔记本重启就丢:三个环境变量把 .zpln 存进 RustFS 桶
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
好用斋2 小时前
内网测速 LibreSpeed:网页版 Docker 测速服务
运维·docker·容器
江华森3 小时前
从零开始:智能运维概念与Linux环境准备完全指南
linux·运维
jianqiang.xue3 小时前
把Agent塞进MCU:工具次数和上下文长度怎么卡
java·前端·网络·单片机·esp32·ai编程
橙橙子2304 小时前
Linux----libevent
linux·运维·服务器
离凌寒5 小时前
一、关于qt编写的mqtt工具与tcp工具使用说明
网络·网络协议·tcp/ip
如夏倾城6 小时前
五大远程桌面协议:RDP、SSH、VNC/RFB、Citrix ICA/HDX 与 VMware Blast Extreme
运维·windows·网络协议·安全·自动化·ssh·远程工作
羽落•无痕(苏晗默)6 小时前
华为数通IA——14、网络服务与应用:TCP/UDP 传输层协议与 FTP、Telnet、SSH 实践
网络·网络协议·tcp/ip·网络安全·华为·udp·信息与通信
0xBADCODE6 小时前
2026 工业互联网安全大赛 · 全国预选赛题解系列密码学方向 crypto-5
网络·安全·web安全·网络安全·系统安全·密码学