我不会起名字322 · 后端 / 算法 / 数据库
文章目录
- [WebSocket 停机与在线状态:Shutdown 返回后还需要清理什么](#WebSocket 停机与在线状态:Shutdown 返回后还需要清理什么)
-
- [停机那 15 秒,代码到底在等什么](#停机那 15 秒,代码到底在等什么)
- [为什么 Shutdown 返回不能证明连接已清理?](#为什么 Shutdown 返回不能证明连接已清理?)
- [30 分钟 TTL 对残留意味着什么](#30 分钟 TTL 对残留意味着什么)
- 客户端到底知不知道自己被踢了?
- 怎么在发版前后各查一次
- 修法三档,有一个取舍是反直觉的
- 小结
WebSocket 停机与在线状态:Shutdown 返回后还需要清理什么
http.Server.Shutdown 不会关闭已经 hijack 的连接,WebSocket 升级后正是 hijack 状态。当前网关停机协调没有遍历并主动关闭这些连接。如果下线与后续上报未成功,在线状态可能残留;pkg/common/storage/cache/cachekey/online.go:14 配置 OnlineExpire = time.Hour / 2,即 1800 秒的过期窗口,并非每次实际残留时长。
证据等级:基于 im-server 提交 ba63dac65 静态分析。原文所述重启重连、发版耗时和关闭日志没有可核对的原始记录;多节点滚动发布属于条件性推演。Go 标准库文档说明 Shutdown 不关闭也不等待 hijack 连接。
停机那 15 秒,代码到底在等什么
Run 里的注释写得比我诚实得多,先看它(internal/msggateway/ws_server.go:208-216):
go
// Run 启动服务并阻塞,直到 ctx 结束。
//
// 内部有三个长期运行的 goroutine:
// 1. 事件循环:串行消费注册 / 注销 / 多端互踢事件;
// 2. HTTP 服务器:监听端口,所有路径都走 wsHandler;
// 3. 关闭协调:ctx 结束后调用 HTTP Server.Shutdown;它不关闭也不等待
// 已被 hijack 的 WebSocket 连接,本方法没有另行遍历关闭这些连接。
这是原作者自己写的「已知但未修」。再看真正执行停机的 28 行(ws_server.go:236-263):
go
done := make(chan struct{})
go func() {
wsServer := http.Server{Addr: fmt.Sprintf(":%d", ws.port), Handler: nil}
http.HandleFunc("/", ws.wsHandler)
go func() {
defer close(done)
<-ctx.Done()
_ = wsServer.Shutdown(context.Background())
}()
err := wsServer.ListenAndServe()
if err == nil {
err = fmt.Errorf("http server closed")
}
cancel(fmt.Errorf("msg gateway %w", err))
}()
<-ctx.Done()
// 最多等待 15 秒让 HTTP Shutdown 返回;这不是等待已升级的 WebSocket 退出。
timeout := time.NewTimer(time.Second * 15)
defer timeout.Stop()
select {
case <-timeout.C:
log.ZWarn(ctx, "msg gateway graceful stop timeout", nil)
case <-done:
log.ZDebug(ctx, "msg gateway graceful stop done")
}
return context.Cause(ctx)
注意 done 这个 channel 是谁关的:里面那个 goroutine defer close(done),它只等 <-ctx.Done() 然后调一次 Shutdown。所以 done 关闭只代表「Shutdown 调用返回了」,不代表任何一条 WebSocket 被关掉。 msg gateway graceful stop done 是 Debug 日志;如果观察到它,只能确认该调用返回,不能确认连接清理完成。
Shutdown 会做什么:停止接受新连接、关掉空闲的 keep-alive 连接、等手上的普通请求处理完。WebSocket 在 internal/msggateway/ws_server.go:621 的 ws.websocket.Upgrade(w, r, nil) 后属于 hijack 连接,Shutdown 不主动关闭或等待它们。外层 15 秒是最长等待,不是固定耗时。
为什么 Shutdown 返回不能证明连接已清理?
停机协调没有主动遍历连接;客户端自行断开等事件仍可能触发关闭。一次连接注销的路径包括:client.close() → ws.UnRegister(c) → unregisterChan → unregisterClient。
go
// internal/msggateway/ws_server.go:525-539(节选)
func (ws *WsServer) unregisterClient(client *Client) {
defer ws.clientPool.Put(client)
isDeleteUser := ws.clients.DeleteClients(client.UserID, []*Client{client})
if isDeleteUser {
ws.onlineUserNum.Add(-1)
prommetrics.OnlineUserGauge.Dec()
}
ws.onlineUserConnNum.Add(-1)
ws.subscription.DelClient(client)
log.ZDebug(client.ctx, "user offline", "close reason", client.closedErr, ...)
}
若停机时某连接没有经过注销,下线事件可能未生成或未成功上报。原文称发版窗口关闭日志增量为 0,但缺原始日志,不能据此断言全部连接均未注销。
等一下,还有个更直白的事实:进程退出时操作系统会关闭其 fd,客户端最终可感知 TCP 断开,具体信号和时间取决于网络及客户端状态。进程退出本身不保证 Redis 已收到下线。
30 分钟 TTL 对残留意味着什么
Redis 里一个用户的在线状态是 ZSet:member 是平台 ID,score 是该平台的到期 Unix 秒数 (pkg/common/storage/cache/redis/online.go:28-29)。写入时:
go
// pkg/common/storage/cache/redis/online.go:119-122
now := time.Now()
// 参数依次为 key TTL、清理截止秒、在线到期秒、离线数量、离线平台、在线平台。
argv := make([]any, 0, 4+len(online)+len(offline))
argv = append(argv, int32(s.expire/time.Second), now.Unix(), now.Add(s.expire).Unix(), int32(len(offline)))
也就是说 score = now + 1800,同时 EXPIRE key 1800(Lua 脚本里 redis.call("EXPIRE", key, ARGV[1]))。而读取是这么筛的(同文件 :43-46):
go
members, err := s.rdb.ZRangeByScore(ctx, s.getOnlineKey(userID), &redis.ZRangeBy{
Min: strconv.FormatInt(time.Now().Unix(), 10),
Max: "+inf",
}).Result()
只看 score ≥ 现在的成员。若最后一次成功刷新后没有下线、清理或续期等改变,该读取在 score 到期前可能仍返回平台。其他组件可能使用本地缓存,不能断言所有组件答案相同。
顺便说个排查时会踩的坑:审计文档里写的 key 前缀是 online:,实际代码是 ONLINE:(pkg/common/storage/cache/cachekey/online.go:10)。我第一次按小写去 --scan,扫出 0 个 key,差点以为在线状态根本没写进 Redis。
以下是条件示例:假设 T 时最后一次刷新,之后旧节点退出且下线未成功上报。
| 时刻 | Redis 可能状态 | 客户端状态及条件 |
|---|---|---|
| T | score = T+1800 | 原连接在线 |
| T+5 分钟 | 若无其他写入,score 仍有效 | 旧连接已断开时,读取可能暂时返回在线 |
| T+5 分钟后 | 若重连新节点并成功上报,score 刷新 | 客户端可能已重新在线,不能按旧 score 推断下线 |
| T+30 分钟后 | 若没有续期、下线和其他清理,旧 score 已过期(超过 T+1800 秒) | 按 score 过滤的读取不再返回该平台 |
push 本地缓存可能有不同新鲜度,不能直接由 Redis score 推断其答案。
客户端到底知不知道自己被踢了?
取决于客户端状态及实际关闭路径。停机协调没有显式遍历并发送 Close 帧;client.go:245-255 的 close() 调用连接关闭,KickOnlineMessage() 发送的是业务消息,这两条路径本身都不保证构造 WebSocket Close 控制帧。进程退出会关闭底层连接,但客户端观察时间、错误类型和重连行为需实际测试;没有移动端后台实验数据。
顺带一个相关的、容易忽略的细节:真正常态断线时,服务端有 30 秒读超时兜底(pongWait = 30 * time.Second,internal/msggateway/constant.go:64,每轮 readMessage 前 setReadDeadline(now+readTimeout))。而停机这件事绕过了读超时------进程都不在了,谁来过 30 秒。
怎么在发版前后各查一次
三条命令,停机前跑一次、停机后 30 秒内再跑一次,对比才有意义。
bash
# 1) 对照时间窗口查看关闭日志;日志级别和轮转会影响计数
grep -c 'websocket connection closed' logs/im-msggateway*.log
# 2) Redis 里残留的在线集合(注意前缀是大写 ONLINE:)
redis-cli --scan --pattern 'ONLINE:*' | head -20
# 3) 挑一个刚下线的用户,看他还有多少秒「名义上在线」
u='替换成测试用户ID'
redis-cli ZRANGE "ONLINE:$u" 0 -1 WITHSCORES
# 期望输出形如: 1 <未来某个 Unix 秒>
# score 减当前 Unix 秒得到剩余有效期;续期可能改变该值
# 4) 节点 TCP 数与 Redis 用户 key 数口径不同,只能各自观察
ss -tn state established '( sport = :10001 )' | wc -l
redis-cli --scan --pattern 'ONLINE:*' | wc -l
ss 是本节点 TCP 连接数,Redis key 按用户组织、可能包括多个平台且跨节点,差值不是幽灵用户数。应按相同用户、平台、节点与时间逐项对照连接表、Redis score、重连和上报日志。
修法三档,有一个取舍是反直觉的
下面是三个改造方向,工作量和效果需根据实现验证;单纯调大等待时间不会自动增加 WebSocket 清理。
第一档:确认停机期限与部署 grace period。 这里的 timer 已是最多 15 秒,而不是必定等待 15 秒;调整期限不能补上连接清理。应为新增的关闭、离线上报及失败处理预留有界时间,并按实际 k8s 配置核对。
第二档(约 40 行,最小可用):停机序列补上「遍历连接 + 主动报离线」。 现状是三步缺了两步:
go
// 示意:停机序列应该长这样(现在只有第 1 步)
// 1. 停止接收新连接
_ = wsServer.Shutdown(context.Background())
// 2. 【缺】遍历本节点连接并执行有界关闭;若需要 Close 帧须单独实现发送。
for _, c := range ws.clients.AllConnections() { // 需要新增方法
_ = c.KickOnlineMessage() // 这是业务踢人消息,不保证发送 Close 控制帧。
}
// 3. 【缺】有所有权校验地上报本节点离线,并处理失败和新节点重连。
_ = ws.reportAllOffline(context.Background()) // 示意方法,尚不存在。
这里有个坑要提前说:UserMap 接口(internal/msggateway/user_map.go:18-33)只有 GetAll(userID)、Get、Set、DeleteClients、UserState、GetAllUserStatus、RecvSubChange,没有 All()。要遍历必须给接口加方法,这就是为什么这一档是 40 行而不是 5 行。
第三档(约 80 行,推荐):给在线状态加「属于哪个节点 + 心跳版本号」。 现在的 ZSet 只记平台 ID,谁都能续谁的期,节点死了没人知道该清谁。改成每个平台记 score=到期时间 之外再加一个「持有节点 ID」字段,其他节点发现持有者已不在服务发现列表里时,主动清掉那一条。这是一种改造方向,需要处理所有权变更、误判、原子校验和重试;还要动 Redis 数据结构并迁移存量 key,不能仅凭版本号断言根治。
两个「只做这个会更糟」的组合:
- 只把 15 秒改成 60 秒,不动遍历。 这不会补上 WebSocket 遍历;Shutdown 通常不等待已 hijack 连接,可能提前返回,不能断言每次必然多等 45 秒。
- 只加遍历关闭,不加「全量离线上报」。 逐条关闭会产生 10 万条 offline 事件涌进
ws.clients.UserState()那个容量 10000 的 channel(user_map.go:79),而消费端ChangeOnlineStatus的requestChs每片只有 64 的缓冲(internal/msggateway/online.go:42)。队列可能在负载下满并丢弃事件,但实际丢弃比例需要测试。批量离线也必须防止删除新节点刚续期的状态,并设计可靠重试和对账。
小结
三句话:
Shutdown返回 ≠ 连接已关闭。 WebSocket 升级之后就不归net/http管了,done这个 channel 只证明「Shutdown 调用返回了」,它从来不代表连接被清理。- 1800 秒是单次过期窗口,不是固定残留时间。 实际剩余时间取决于最后成功刷新和后续重连、上报或清理。
- 进程退出不等于远端状态清理完成。 当前文章没有可核实的发版时长与残留实测。
判据一句话:按同一用户、平台、节点和时间对照连接、Redis score、下线及重连上报;TCP 总数减用户 key 数不能得出幽灵用户数。