HAProxy负载均衡集群概述

前言:

在现代分布式系统中,负载均衡和高可用性是保障服务稳定性和性能的关键技术。HAProxy 作为一款高性能的 TCP/HTTP 负载均衡器,凭借其轻量级、高并发处理能力和灵活的配置机制,成为构建高可用架构的核心组件之一。通过智能的流量分发和健康检查机制,HAProxy 能够有效提升系统的吞吐能力,同时避免单点故障,确保服务持续可用。本文将简要概述 HAProxy 如何实现负载均衡及高可用,并探讨其在实际场景中的应用价值。

目录

1、HAProxy简介

2、HAProxy特点和优点:

3、HAProxy保持会话的三种解决方法

[4、HAProxy的balance 8种负载均衡算法](#4、HAProxy的balance 8种负载均衡算法)

[1)RR(Round Robin)](#1)RR(Round Robin))

[2)LC(Least Connections)](#2)LC(Least Connections))

[3)SH(Source Hashing)](#3)SH(Source Hashing))

4)uri(资源标识符)

5)url_param(资源定位符)

6)rdp---cookie(name)

[7) source](#7) source)

[8) static-rr](#8) static-rr)

[5、HAProxy 主要工作模式](#5、HAProxy 主要工作模式)

6、HAProxy配置文件参数

[6.1、HAProxy 环境](#6.1、HAProxy 环境)

[6.1.1、 global 全局配置](#6.1.1、 global 全局配置)

[6.1.2、 proxy 代理配置](#6.1.2、 proxy 代理配置)

[proxies 配置-defaults](#proxies 配置-defaults)

7、状态统计功能测试

总结


1、HAProxy简介

官网:HAProxy Technologies | Powering the World's Busiest Applications

HAProxy 是法国人Willy Tarreau开发的一个开源软件,是一款应对客户端10000以上的同时连接的高性能的TCP和 HTTP负载均衡器。其功能是用来提供基于cookie的持久性, 基于内容的交换,过载保护的高级流量管制,自动故障切换 ,以正则表达式为基础的标题控制运行时间,基于Web的报表,高级日志记录以帮助排除故障的应用或网络及其他功能。

HAProxy 提供高可用性、负载均衡以及基于TCP和HTTP的应用代理,支持虚拟主机,它是免费、快速并且可靠的一种负载均衡解决方案。适合处理高负载站点的 七层 数据请求。类似的代理服务可以屏蔽内部真实服务器,防止内部服务器遭受攻击。

2、HAProxy特点和优点:

  1. 支持原生SSL,同时支持客户端和服务器的SSL.

  2. 支持IPv6和UNIX套字节(sockets)

  3. 支持HTTP Keep-Alive

  4. 支持HTTP/1.1压缩,节省宽带

  5. 支持优化健康检测机制(SSL、scripted TCP、check agent...)

  6. 支持7层负载均衡。

  7. 可靠性和稳定性非常好。

  8. 并发连接 40000-50000个,单位时间处理最大请求 20000个,最大数据处理10Gbps.

  9. 支持8种负载均衡算法,同时支持session保持。

  10. 支持虚拟主机。

  11. 支持连接拒绝、全透明代理。

  12. 拥有服务器状态监控页面。

  13. 支持ACL(access control list)。

3、HAProxy保持会话的三种解决方法

HAProxy为了让同一客户端访问服务器可以保持会话。有三种解决方法:客户端IP、Cookie以及Session。

  1. 通过 客户端IP 进行Hash计算并保存,以此确保当相同IP访问代理服务器可以转发给固定的真实服务器。

  2. 依靠真实服务器发送客户端的 Cookie信息 进行会话保持。

  3. 将保存真实服务器的 Session 以及服务器标识 ,实现会话保持。

    (HAProxy只要求后端服务器能够在网络联通,也没有像LVS那样繁琐的ARP配置)

4、HAProxy的balance 8种负载均衡算法

1)RR(Round Robin)

RR算法是最简单最常用的一种算法,即轮询调度

理解举例:有三个节点A、B、C

第一个用户访问会被指派到节点A

第二个用户访问会被指派到节点B

第三个用户访问会被指派到节点C

第四个用户访问继续指派到节点A,轮询分配访问请求实现负载均衡效果

2)LC(Least Connections)

最小连接数算法,根据后端的节点连接数大小动态分配前端请求

理解举例: 有三个节点A、B、C,各节点的连接数分别为A:4 B:5 C:6

第一个用户连接请求,会被指派到A上,连接数变为A:5 B:5 C:6

第二个用户请求会继续分配到A上,连接数变为A:6 B:5 C:6;再有新的请求会分配给B,每次将新的请求指派给连接数最小的客户端

由于实际情况下A、B、C的连接数会动态释放,很难会出现一样连接数的情况

此算法相比较rr算法有很大改进,是米钱用到比较多的一种算法

3)SH(Source Hashing)

基于来源访问调度算法,用于一些有Session会话记录在服务端的场景,可以基于来源的IP、Cookie等做集群调度

理解举例 有三个节点A、B、C,第一个用户第一次访问被指派到了A,第二个用户第一次访问被指派到了B

当第一个用户第二次访问时会被继续指派到A,第二个用户第二次访问时依旧会被指派到B,只要负载均衡器不重启,第一个用户都会被指派到A,第二个用户访问都会被指派到B,实现集群的调度

此调度算法好处是实现会话保持,但某些IP访问量非常大时会引起负载不均衡,部分节点访问量超大,影响业务使用

4)uri(资源标识符)

表示根据请求的URI,做cdn(内容分发网络)需使用

5)url_param(资源定位符)

表示根据HTTP请求头来锁定每 一 次HTTP请求。

6)rdp---cookie(name)

表示根据据cookie (name)来锁定并哈希每一次TCP请求。

7) source

表示根据请求的源IP,类似Nginx的IP hash机制。

8) static-rr

表示根据权重,轮询

5、HAProxy 主要工作模式

tcp模式:在客户端和服务器之间将建立一个全双工的连接,且不会对7层的报文做任何处理的简单模式。 通常用于SSL、SSH、SMTP等应用层。

http模式(一般使用):客户端请求在转发给后端服务器之前会被深度分析,所有不与RFC格式兼容的请求都会被拒绝。

6、HAProxy配置文件参数

6.1、HAProxy 环境

haproxy的配置文件 haproxy.cfg 的 默认地址:/etc/haproxy/haproxy.cfg 。

haproxy.cfg 由两大部分组成,分别是 global 和 proxies 部分。

global:全局配置:

复制代码
 进程及安全配置相关的参数
 性能调整相关参数
 Debug参数

proxies:代理配置

复制代码
 defaults:为 frontend, backend, listen提供默认配置
 frontend:前端,相当于 nginx 中的 server {}
 backend:后端,相当于 nginx 中的 upstream {}
 listen:同时拥有 前端和后端配置

名称说明:

  • frontend 端(front end):指定接收 客户端 侦听套接字设置。

  • backend 端(back end):指定将连接请求转发至 后端服务器 的相关设置。

  • listen 端:指定完整的前后端设置,只对TCP有效

  • proxy 名称:使用字母 、数字 - 、_ 、. 、: ,并区分字符大小写。

6.1.1、 global 全局配置
复制代码
 chroot                   # 锁定运行目录
 deamon                   # 以守护进程运行
 stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin    # socket文件
 user, group, uid, gid     # 运行haproxy的用户身份
 nbproc                    # 开启的haproxy进程数,与CPU保持一致
 nbthread                  # 指定每个haproxy进程开启的线程数,默认为每个进程一个线程
 cpu-map 1 0               # 绑定haproxy 进程至指定CPU
 maxconn                   # 每个haproxy进程的最大并发连接数
 maxsslconn                # 每个haproxy进程ssl最大连接数,用于haproxy配置了证书的场景下
 maxconnrate               # 每个进程每秒创建的最大连接数量
 spread-checks             # 后端server状态check随机提前或延迟百分比时间,建议2-5(20%-50%)之间
 pidfile                   # 指定pid文件路径
 log 127.0.0.1 local3 info    # 定义全局的syslog服务器;最多可以定义两个

示例:

复制代码
 ########################  全局配置  ############################ 
 ####### 参数是进程级的,通常和操作系统(OS)相关
 global 
     chroot /var/haproxy             # 锁定运行目录
     uid 99                          # 所属运行的用户uid 
     gid 99                          # 所属运行的用户组 
     daemon                          # 守护进程。以后台形式运行haproxy 
     nbproc 1                        # haproxy进程数,与CPU保持一致
     pidfile /var/run/haproxy.pid    # haproxy的pid存放路径,启动进程的用户必须有权限访问此文件 
     ulimit-n 65535                    # ulimit的数量限制
     maxconn 20480                   # 默认最大连接数 
     log 127.0.0.1 local0            # 日志输出配置,所有日志都记录在本机系统日志,通过 local0 输出
     log 127.0.0.1 local1 notice     # notice 为日志级别,通常有24个级别(error warring info debug)
6.1.2、 proxy 代理配置

主要分为下面4个部分

复制代码
 defaults [<name>]  # 默认配置项,针对以下的frontend、backend和lsiten生效,可以多个name
 frontend <name>    # 前端servername,类似于Nginx的一个虚拟主机 server。
 backend <name>     # 后端服务器组,等于nginx的upstream
 listen <name>      # 将frontend和backend合并在一起配置
proxies 配置-defaults
复制代码
option redispatch           # 当server Id对应的服务器挂掉后,强制定向到其他健康的服务器
 option abortonclose         # 当服务器负载很高的时候,自动结束掉当前队列处理比较久的链接
 option http-keep-alive      # 开启与客户端的会话保持
 option forwardfor           # 透传客户端真实IP至后端web服务器
 mode http                   # 默认工作类型
 timeout connect 120s        # 客户端请求到后端server的最长连接等待时间(TCP之前)
 timeout server 600s         # 客户端请求到后端服务端的超时超时时长(TCP之后)
 timeout client 600s         # 与客户端的最长非活动时间
 timeout http-keep-alive 120s # session 会话保持超时时间,范围内会转发到相同的后端服务器
 timeout check 5s            # 对后端服务器的检测超时时间

示例:

复制代码
 #########################  默认设置  ########################## 
 ## 这些参数可以被利用配置到 frontend,backend,listen组件
 defaults 
     log global                      # 定义日志为global(全局)配置中的日志定义
     mode http                       # 所处理的类别 (网络七层协议中,tcp是第4层的会话层、http是第7层的应用层) 
     maxconn 20480                   # 最大连接数 
     option httplog                  # 日志类别http日志格式 
     option httpclose                # 每次请求完毕后主动关闭http通道 
     option dontlognull              # 不记录健康检查的日志信息 
     option forwardfor               # 如果后端服务器需要获得客户端真实ip需要配置的参数,可以从Http Header中获得客户端ip  
     option redispatch               # 当server Id对应的服务器挂掉后,强制定向到其他健康的服务器
     option abortonclose             # 当服务器负载很高的时候,自动结束掉当前队列处理比较久的连接 
     stats refresh 30                # 统计页面刷新间隔 
     retries 3                       # 检查节点服务器失败次数,连续达到三次失败,则认为节点不可用
     balance roundrobin              # 默认的负载均衡的方式,轮询方式,上面的第4段8种负载均衡算法
     #balance source                 # 默认的负载均衡的方式,类似nginx的ip_hash 
     #balance leastconn              # 默认的负载均衡的方式,最小连接 
     contimeout 5000                 # 连接的超时时间
     clitimeout 50000                # 客户端的超时时间
     srvtimeout 50000                # 服务器的超时时间
     timeout check 2000              # 心跳检测的超时时间

7、状态统计功能测试

下载haproxy

复制代码
yum -y install haproxy

修改配置文件

复制代码
[root@haproxy ~]# cd /etc/haproxy/
[root@haproxy haproxy]# ls
conf.d  haproxy.cfg
[root@haproxy haproxy]# vim haproxy.cfg 
[root@haproxy haproxy]# cat haproxy.cfg
#---------------------------------------------------------------------
# Example configuration for a possible web application.  See the
# full configuration options online.
#
#   https://www.haproxy.org/download/1.8/doc/configuration.txt
#
#---------------------------------------------------------------------

global
    log         127.0.0.1 local2
    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    user        haproxy
    group       haproxy
    daemon
    maxconn     4000

defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    retries                 3
    timeout http-request    5s
    timeout queue           1m
    timeout connect         5s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 5s
    timeout check           5s
    maxconn                 3000

frontend main
    bind *:80
    default_backend         http_back

backend http_back
    balance     roundrobin
    server  node1 192.168.72.164:80 check    ###web1主机IP地址
    server  node2 192.168.72.165:80 check    ###web2主机IP地址
listen stats #定义监控页面    
    mode http
    option httplog
        bind *:1080                   #绑定端口1080    
        stats refresh 30s             #每30秒更新监控数据    
        stats uri /stats              #访问监控页面的uri    
        stats realm HAProxy\ Stats    #监控页面的认证提示    
        stats auth admin:admin        #监控页面的用户名和密码

web1、web2下载并开启nginx

复制代码
[root@web1 ~]# yum install -y nginx
[root@web1 ~]# systemctl start nginx

[root@web2 ~]# yum install -y nginx
[root@web2 ~]# systemctl start nginx

web1、web2在Nginx web服务器的默认根目录下的首页文件中输入内容

复制代码
[root@web1 ~]# echo web1 > /usr/share/nginx/html/index.html
[root@web2 ~]# echo web2 > /usr/share/nginx/html/index.html

回到haproxy开启haproxy.service

复制代码
[root@haproxy ~]# systemctl start haproxy.service

#查看监听
[root@haproxy ~]# netstat -antup | grep 80
tcp        0      0 0.0.0.0:1080            0.0.0.0:*               LISTEN      10525/haproxy       
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      10525/haproxy   

验证流量分发

访问192.168.72.163web网站,查看到请求被均匀地分发到了两个不同的后端服务器(web1和web2),采用轮询实现负载均衡策略

访问192.168.72.163:1080/stats web网站,输入用户名:admin,密码:admin,进入状态统计页面

HAProxy + Keepalived实现负载均衡高可用

主机 作用 真实 IP (RIP) 虚拟 IP (VIP)
server1 主负载均衡节点 192.168.72.163 192.168.72.100
server2 备负载均衡节点 192.168.72.185 192.168.72.100
Web1 后端服务器 1 192.168.72.164 -
Web2 后端服务器 2 192.168.72.165 -
复制代码
客户端请求
     ↓
[ VIP: 192.168.72.100 ]  ← Keepalived 主备切换 (server1/server2)
     ↓
[ HAProxy 负载均衡 ]
     ↓
[ web1:192.168.72.164 ]
[ web2:192.168.72.165 ]

server1主节点修改配置文件/etc/keepalived/keepalived.conf

server2备节点修改配置文件/etc/keepalived/keepalived.conf

server1备节点修改配置文件/etc/haproxy/haproxy.cfg

复制代码
[root@server1 ~]# cat /etc/haproxy/haproxy.cfg
#---------------------------------------------------------------------
# Example configuration for a possible web application.  See the
# full configuration options online.
#
#   https://www.haproxy.org/download/1.8/doc/configuration.txt
#
#---------------------------------------------------------------------

global
    log         127.0.0.1 local2
    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    user        haproxy
    group       haproxy
    daemon
    maxconn     4000

defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    retries                 3
    timeout http-request    5s
    timeout queue           1m
    timeout connect         5s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 5s
    timeout check           5s
    maxconn                 3000

frontend http-in
    bind 192.168.72.100:80
    default_backend web_servers

backend web_servers
    balance     roundrobin
    server web1 192.168.72.164:80 check
    server web2 192.168.72.165:80 check

server2备节点修改配置文件/etc/haproxy/haproxy.cfg

复制代码
[root@server2 haproxy]# cat haproxy.cfg 
#---------------------------------------------------------------------
# Example configuration for a possible web application.  See the
# full configuration options online.
#
#   https://www.haproxy.org/download/1.8/doc/configuration.txt
#
#---------------------------------------------------------------------

global
    log         127.0.0.1 local2
    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    user        haproxy
    group       haproxy
    daemon
    maxconn     4000

defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    retries                 3
    timeout http-request    5s
    timeout queue           1m
    timeout connect         5s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 5s
    timeout check           5s
    maxconn                 3000

frontend http-in
    bind 192.168.72.100:80
    default_backend web_servers

backend web_servers
    balance     roundrobin
    server web1 192.168.72.164:80 check
    server web2 192.168.72.165:80 check

启动服务

复制代码
###在两台server上执行:
systemctl start keepalived
systemctl start haproxy

###备节点需要强制切换VIP到备节点开启服务(测试)
[root@server2 haproxy]# ip addr add 192.168.72.100/24 dev ens33
[root@server2 haproxy]# systemctl restart haproxy

server1、server2分别输入ip a命令查看确保 Keepalived 主节点 server1 应持有 VIP,备节点 server2 现未持有VIP,在故障时接管

复制代码
[root@server1 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host noprefixroute 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:c2:74:d2 brd ff:ff:ff:ff:ff:ff
    inet 192.168.72.163/24 brd 192.168.72.255 scope global dynamic noprefixroute ens33
       valid_lft 1324sec preferred_lft 1324sec
    inet 192.168.72.100/24 scope global secondary ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fec2:74d2/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever



###
[root@server2 haproxy]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host noprefixroute 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:9b:f9:1b brd ff:ff:ff:ff:ff:ff
    inet 192.168.72.185/24 brd 192.168.72.255 scope global dynamic noprefixroute ens33
       valid_lft 1685sec preferred_lft 1685sec
    inet6 fe80::20c:29ff:fe9b:f91b/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

验证流量分发

访问192.168.72.100web站点,在后端web1、web2上部署不同页面分别返回 web1和web2内容,说明轮询策略生效,实现负载均衡

故障模拟

VIP飘逸测试

切换到server1关闭Keepalived

复制代码
[root@server1 ~]# systemctl stop keepalived

###查看服务状态
[root@server1 ~]# systemctl status keepalived
○ keepalived.service - LVS and VRRP High Availability Monitor
     Loaded: loaded (/usr/lib/systemd/system/keepalived.service; disabled; preset: disabled)
     Active: inactive (dead)

7月 16 10:34:42 server1 systemd[1]: Stopping LVS and VRRP High Availability Monitor...
7月 16 10:34:42 server1 Keepalived[26286]: Stopping
7月 16 10:34:42 server1 Keepalived_vrrp[26287]: (VI_1) sent 0 priority
7月 16 10:34:42 server1 Keepalived_vrrp[26287]: (VI_1) removing VIPs.
7月 16 10:34:43 server1 Keepalived_vrrp[26287]: Stopped - used 0.000000 user time, 0.069239 system time
7月 16 10:34:43 server1 Keepalived[26286]: CPU usage (self/children) user: 0.000000/0.000000 system: 0.000834/0.069811
7月 16 10:34:43 server1 Keepalived[26286]: Stopped Keepalived v2.2.8 (04/04,2023), git commit v2.2.7-154-g292b299e+
7月 16 10:34:43 server1 keepalived-stop-post.sh[30523]: Excuted stop-post keepalived
7月 16 10:34:43 server1 systemd[1]: keepalived.service: Deactivated successfully.
7月 16 10:34:43 server1 systemd[1]: Stopped LVS and VRRP High Availability Monitor.

此时在server2主机输入ip a命令观察VIP已漂移到server2,实现故障转移

复制代码
[root@server2 haproxy]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host noprefixroute 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:9b:f9:1b brd ff:ff:ff:ff:ff:ff
    inet 192.168.72.185/24 brd 192.168.72.255 scope global dynamic noprefixroute ens33
       valid_lft 1209sec preferred_lft 1209sec
    inet 192.168.72.100/24 scope global secondary ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe9b:f91b/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

此时再次访问192.168.72.100web站点保持正常,因备节点自动接管,

总结:

HAProxy 通过多节点流量调度、健康监测和故障自动转移等机制,不仅实现了高效的负载均衡,还大幅提升了系统的容错能力。无论是应对高并发请求,还是保障关键业务的高可用性,HAProxy 都展现出了强大的适应性和可靠性。结合合理的架构设计(如多活部署、会话保持等),HAProxy 能够为企业级应用提供稳定、高效的流量管理解决方案,成为现代云原生和微服务架构中不可或缺的基础设施组件。

相关推荐
蔡不菜和他的uU们1 小时前
LAMP迁移LNMP Nginx多站点配置全流程
运维·nginx
wanhengidc1 小时前
大带宽服务器对于高流量网站的作用
运维·服务器
atwdy3 小时前
MacOS安装linux虚拟机
linux·运维·ubuntu·macos·utm
阿竹.3 小时前
Linux运维新手的修炼手扎之第21天
linux·运维·服务器
望获linux3 小时前
【实时Linux实战系列】实时系统的调试技术
linux·运维·服务器·网络·数据库·操作系统·嵌入式软件
DC_BLOG3 小时前
OSPFv3中LSA参数
运维·服务器·华为·智能路由器·huawei
FIT2CLOUD飞致云3 小时前
速来体验 | 1Panel应用商店上新MaxKB V2社区版本
运维·开源
来自于狂人3 小时前
Docker-Beta?ollama的完美替代品
运维·人工智能·docker·容器·云计算
猿饵块3 小时前
docker--安装--原理
运维·docker·容器
Tim风声(网络工程师)3 小时前
如何通过mac的前24bit,模糊确认是那一台什么样的设备
运维·服务器·网络·macos