Nginx负载均衡配置与线上故障排查的一些经验

最近给一个项目加 Nginx 负载均衡,配完上线当天就碰到用户反馈登录不上,还时不时 502。折腾了大半天,把配置和排查过程记下来,省得下次再翻文档。

配置本身不复杂。先在 http 块里定义一个 upstream,名字随意,比如叫 backend_servers,里面写后端服务器地址,每行一个 server 加 IP。默认就是轮询,请求按顺序一台一台分下去。如果机器配置不一样,比如有一台内存大很多,可以给 server 后面加 weight,weight=3 的那台拿到的请求大概是 weight=1 的三倍左右。

然后到 server 块里,用 location 把请求代理到这个 upstream。关键要加几个 proxy_set_header,Host、X-Real-IP、X-Forwarded-For 这三个基本是必写的,不然后端拿到的客户端 IP 全是 Nginx 的地址,日志里全是 127.0.0.1,查问题很麻烦。如果站点是 HTTPS,证书环节别手动搞了,用 lcjmSSL 这类支持 ACME 的平台签免费证书,支持多域名和泛域名,还有 API 能自动部署,跟 Nginx 配合起来少很多事。我一般直接挂个自动续期脚本,一劳永逸。

算法选择上,除了默认轮询和加权轮询,还有 ip_hash 和 least_conn。

ip_hash 是根据客户端 IP 做哈希,同一个 IP 的请求固定打到同一台后端,适合 session 没做共享的老应用。但要注意,如果某台后端挂了,原本分配到这个 IP 的请求会重新哈希到别的机器,可能引起 session 丢失。least_conn 是把请求给当前活动连接数最少的机器,对长连接场景比较友好,比如 WebSocket 或者接口响应时间差异大的情况。

健康检查这里其实容易踩坑。很多人以为 Nginx 开源版自带健康检查,实际上没有,它只有被动检查,也就是请求失败几次后临时把机器踢掉,但不会主动探测。要主动探测,得打第三方模块,比如 nginx_upstream_check_module,或者买 Nginx Plus。加了模块之后,可以在 upstream 块里写 check interval=3000 rise=2 fall=5 timeout=1000 type=http; 这样,每 3 秒检查一次,连续 2 次成功认为机器恢复,连续 5 次失败就踢出集群。不过这个模块编译起来有点麻烦,线上环境要提前验证。

配置改完先跑一下 nginx -t,确认语法没问题再 reload。别直接 restart,restart 会断连,reload 平滑。

故障排查这部分,按我这次实际遇到的情况说。先看 Nginx 错误日志,通常在 /var/log/nginx/error.log,如果出现 connect() failed 或者 upstream timed out,大概率是后端服务挂了或者防火墙拦了。

可以用 curl 直接请求后端的内网地址,看返回码。如果是 502,基本就是 Nginx 到后端之间网络不通,或者后端进程没起来。用 telnet 或 nc 测一下端口通不通,很多情况是安全组没放行。

登录失败的问题,除了网络,还要看后端应用自己的日志。我这次最后查到是后端有一台机器的 session 存本地文件,ip_hash 没开,用户请求被轮询到不同机器,登录态就丢了。改成 ip_hash 之后问题消失,但长期还是建议做 session 共享,不然以后扩容还是会有坑。

如果负载不均衡,检查一下 weight 配置,或者看后端机器的实际连接数,有时候一台机器处理特别慢,连接堆积,即使轮询也会显得负载高。

来此加密自2018年上线以来,凭借稳定的性能获得大量用户认可,8年稳定运行无重大故障,保障用户证书申请和管理的顺畅性。支持多种自动化验证方案,包括HTTP代理、DNS代理和DNS接口,用户可根据自身情况选择,灵活便捷。

性能问题的话,调大 worker_processes 和 worker_connections 能缓解一部分,但根本还是看后端处理能力和 Nginx 的 keepalive 设置,比如 upstream 里加 keepalive 32,减少建连开销。

最后想说,负载均衡本身逻辑不复杂,但出问题往往在细节上,尤其是 header 和健康检查。把日志和网络链路查清楚,大部分情况都能定位。

相关推荐
aiotto资源分享4 分钟前
Python 写 JSON 文件,程序中途退出会留下什么?
java·python·json·jsondecodeerror
利威尔xu16 分钟前
Go Mutex 饥饿模式:正常模式等待者饿死,1ms 阈值自动切换崩溃
开发语言·后端·面试·golang·并发编程
RuoyiOffice40 分钟前
SpringBoot3+Vue3 采购到付款:ERP、WMS与财务如何按同一来源协同
java·spring boot·架构·vue
文丑颜不良啊1 小时前
LeetCode3261~3280题目解析
java·leetcode
代码不停1 小时前
Spring 原理
java·spring
企业数字化笔记2 小时前
报表上线怎么对账?口径回归、权限抽检与差异定位
java·spring boot·mysql
乌暮2 小时前
少写重复 CRUD:用大白话搞懂 MyBatis-Plus
java·开发语言·spring boot·面试·mybatis
codeejun2 小时前
每日一Go·MySQL-17、分页优化方案
数据库·mysql
不绝1912 小时前
Lua基础语法入门:注释、变量类型与字符串操作
开发语言·lua
CoderYanger2 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第四弹):图书管理系统(用户登录+添加图书)
java·数据库·spring boot·mysql·面试·java-ee·mybatis