云环境K8s集群WebSocket连接失败解决方案

一、问题描述

在云环境（如华为云）的K8s集群中部署WebSocket服务（Java后端+Vue前端+Python客户端）时，遇到**无法连接或握手失败（400 Bad Request）**问题，具体表现为：

Python客户端日志显示：Handshake status 400 ；
Java后端日志无WebSocket连接记录；
浏览器开发者工具显示：WebSocket请求未升级为101状态（仍为HTTP 400）。

二、核心问题分析

WebSocket连接需要特殊的协议升级流程 （从HTTP到WebSocket），而云环境中的Nginx-Ingress（K8s ingress controller）和**云负载均衡器（ELB）**默认未配置这些流程，导致：

协议头未传递 ：Upgrade和Connection头未从客户端转发到后端服务；
超时时间过短：Nginx-Ingress默认60秒超时，断开长连接；
跨域限制 ：后端服务未允许客户端的Origin（如https://example.com）。

三、分步解决方案

1. K8s Ingress配置：解决Nginx转发问题

需要的知识：

Ingress是K8s的"智能路由"，本质是Nginx集群；
WebSocket需要Upgrade和Connection头传递。

修改ingress.yaml：

Yaml 复制代码

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: example-service-name
  namespace: example-auto
  annotations:
    # 1. WebSocket必需：转发Upgrade和Connection头
    nginx.ingress.kubernetes.io/proxy-set-header: |
      Upgrade $http_upgrade;
      Connection $connection_upgrade;
    # 2. WebSocket必需：HTTP/1.1（之前已修正）
    nginx.ingress.kubernetes.io/proxy-http-version: "1.1"
    # 3. 超时设置（WebSocket长连接需要）
    nginx.ingress.kubernetes.io/proxy-read-timeout: "3600"
    nginx.ingress.kubernetes.io/proxy-send-timeout: "3600"
    # 4. 路径重写：将/gcyiams/ws转发到Java服务的/ws端点（因context-path=/gcyiams，实际后端路径是/gcyiams/ws）
    # （这里不需要rewrite，因为Ingress路径和Java实际路径一致，直接转发即可）
spec:
  ingressClassName: nginx
  tls:
  - hosts:
    - example.com
    secretName: example  # 保留你的TLS证书
  rules:
  - host: example.com
    http:
      paths:
        # --------------------------
        # 规则1：WebSocket端点 /gcyiams/ws
        # --------------------------
        - path: /gcyiams/ws
          pathType: Prefix
          backend:
            service:
              name: gcy-scd-iams  # 你的Java服务名
              port:
                number: 9090      # Java服务端口
        # --------------------------
        # 规则2：WebSocket端点 /gcyiams/py
        # --------------------------
        - path: /gcyiams/py
          pathType: Prefix
          backend:
            service:
              name: example-service-name
              port:
                number: 9090
        # --------------------------
        # 规则3：普通HTTP接口 /gcyiams（context-path根路径）
        # --------------------------
        - path: /gcyiams
          pathType: Prefix
          backend:
            service:
              name: example-service-name
              port:
                number: 9090

为什么有用？

proxy-set-header转发Upgrade和Connection头，告诉Nginx"这是WebSocket请求"；
proxy-http-version: "1.1"确保HTTP协议支持升级；
proxy-read-timeout延长超时时间，避免长连接被Nginx断开；
websocket-services标记服务为WebSocket类型，Nginx自动优化转发逻辑。

2. Java后端配置：解决端点和跨域问题

需要的知识：

STOMP（WebSocket子协议）需要配置端点；
跨域请求需要允许客户端Origin。

修改WebSocketConfig.java：

Java 复制代码

@Configuration
@EnableWebSocketMessageBroker
public class WebSocketConfig implements WebSocketMessageBrokerConfigurer {
    @Autowired
    AuthChannelInterceptor authChannelInterceptor;

    @Override
    public void configureMessageBroker(MessageBrokerRegistry registry) {
        // 配置消息代理（客户端订阅的主题前缀）
        registry.enableSimpleBroker("/topic");  // 如/topic/chat
        registry.setApplicationDestinationPrefixes("/gcyiams");  // 服务器处理的前缀（如/gcyiams/send）
    }

    @Override
    public void registerStompEndpoints(StompEndpointRegistry registry) {
        // 配置WebSocket端点（Vue和Python客户端连接的路径）
        registry.addEndpoint("/ws") // 对应Ingress的/gcyiams/ws路径
            .setAllowedOriginPatterns("http://localhost*", ,"https://example.com")
            .withSockJS();
        registry.addEndpoint("/py") // 对应Ingress的/gcyiams/py路径
            .setAllowedOriginPatterns("http://localhost*", "https://example.com");// 不需要支持SockJS
    }

    @Override
    public void configureClientInboundChannel(ChannelRegistration registration) {
        registration.interceptors(authChannelInterceptor);  // 权限拦截器
    }
}

为什么有用？

addEndpoint("/ws")定义WebSocket端点，对应Vue客户端的ws_path='gcyiams/ws'；
addEndpoint("/py")定义WebSocket端点，对应Python客户端的ws_path='gcyiams/py'；
setAllowedOriginPatterns允许客户端的Origin（如https://example.com），解决跨域问题；
withSockJS()提供 fallback 机制，兼容不支持WebSocket的浏览器。

3. Python客户端配置：解决路径和SSL问题

需要的知识：

STOMP客户端需要使用WSStompConnection（支持WebSocket）；
HTTPS（wss）需要配置SSL。

修改Python代码：

Python 复制代码

import stomp
from stomp.listener import ConnectionListener

# 初始化WebSocket STOMP连接
conn = stomp.WSStompConnection(
    hosts=[('example.com', 443)],  # 云服务器域名+HTTPS端口（443）
    ws_path='gcyiams/py'  # 对应Ingress的路径（需去掉前缀/）
)
conn.set_ssl([('example.com', 443)])  # 配置SSL（wss需要）
conn.set_listener("", MyListener())  # 添加监听器
conn.connect()  # 建立连接

为什么有用？

WSStompConnection是stomp.py中支持WebSocket的类，替代普通的STOMPConnection；
ws_path='gcyiams/py'对应Ingress的路径（注意：不需要前缀/）；
set_ssl配置SSL，支持wss://（HTTPS）连接；
MyListener监听连接状态，便于排查错误。

三、云环境特殊配置（华为云/阿里云）

下面的配置客户提供的云环境已支持，在此仅做了解。

需要的知识：

云负载均衡器（ELB）默认可能拦截WebSocket请求；
安全组需要放行WebSocket端口。

1. 华为云ELB配置

进入弹性负载均衡控制台，找到对应ELB实例；
点击监听器 →编辑，开启WebSocket增强型 （允许Upgrade头转发）；
调整空闲超时时间为3600秒（与Nginx配置一致）。

2. 阿里云SLB配置

进入负载均衡控制台，找到对应SLB实例；
点击监听配置 →修改，开启WebSocket支持；
设置超时时间为3600秒。

3. 安全组规则

放行TCP 443端口（wss默认端口）；
允许客户端IP 访问（如0.0.0.0/0，生产环境建议限制IP）。

四、故障排查技巧

1. 检查Ingress日志

Bash 复制代码

kubectl logs -n ingress-nginx deploy/ingress-nginx-controller -f | grep "upgrade"

正常：日志显示upgrade: websocket；
异常：无upgrade关键字，说明Nginx未转发头。

2. 用`websocat`测试

bash 复制代码

websocat -v https://example.com/gcyiams/py

正常：显示Connected to https://example.com/gcyiams/py；
异常：显示Error: unexpected server response (400)，说明Ingress配置错误。

3. 用`curl`测试

Bash 复制代码

curl -i -N -k \
  -H "Host: https://example.com" \
  -H "Connection: Upgrade" \
  -H "Upgrade: websocket" \
  -H "Origin: https://example.com" \
  -H "Sec-WebSocket-Key: x3JJHMbDL1EzLkh9GBhXDw==" \
  -H "Sec-WebSocket-Version: 13" \
  https://example.com/gcyiams/py

检查Upgrade和Connection头是否存在；
检查响应状态码是否为101（Switching Protocols）。

五、关键知识总结

知识领域	核心要点
K8s组件关系	Pod（干活）→ Service（固定IP）→ Ingress（智能路由）
Nginx-Ingress配置	需要转发`Upgrade`和`Connection`头，延长超时时间
WebSocket协议特性	一次握手（101状态），双向通信，需要长连接保活
云环境配置	云ELB需要开启WebSocket支持，安全组放行端口

六、总结

解决云环境K8s集群WebSocket连接问题的核心是正确配置Nginx-Ingress转发逻辑 和云ELB支持，同时确保后端端点和客户端路径匹配。关键步骤：

配置Ingress转发Upgrade和Connection头；
后端配置端点和跨域；
客户端使用WSStompConnection并配置SSL；
云环境开启WebSocket支持。

云环境K8s集群WebSocket连接失败解决方案