HAProxy

一、负载均衡

1.1 什么是负载均衡

负载均衡：Load Balance，简称LB，是一种服务或基于硬件设备等实现的高可用反向代理技术，负载均衡将特定的业务(web服务、网络流量等)分担给指定的一个或多个后端特定的服务器或设备，从而提高了公司业务的并发处理能力、保证了业务的高可用性、方便了业务后期的水平动态扩展

1.2 为什么用负载均衡

Web服务器的动态水平扩展-->对用户无感知
增加业务并发访问及处理能力-->解决单服务器瓶颈问题
节约公网IP地址-->降低IT支出成本
隐藏内部服务器IP-->提高内部服务器安全性
配置简单-->固定格式的配置文件
功能丰富-->支持四层和七层，支持动态下线主机
性能较强-->并发数万甚至数十万

1.3 四层负载均衡

通过ip+port决定负载均衡的去向。
对流量请求进行NAT处理，转发至后台服务器。
记录tcp、udp流量分别是由哪台服务器处理，后续该请求连接的流量都通过该服务器处理。
支持四层的软件：

lvs：重量级四层负载均衡器。
Nginx：轻量级四层负载均衡器，可缓存。（nginx四层是通过upstream模块）
Haproxy：模拟四层转发。

1.4 七层负载均衡

通过虚拟uri或主机ip进行流量识别，根据应用层信息进行解析，决定是否需要进行负载均衡。
代理后台服务器与客户端建立连接，如nginx可代理前后端，与前端客户端tcp连接，与后端服务器建立tcp连接。
支持7层代理的软件：

Nginx:基于http协议(nginx七层是通过proxy_pass)
Haproxy:七层代理，会话保持、标记、路径转移等。

1.5 四层和七层的区别

所谓的四到七层负载均衡，就是在对后台的服务器进行负载均衡时，依据四层的信息或七层的信息来决定怎么样转发流量。

四层的负载均衡，就是通过发布三层的IP地址（VIP），然后加四层的端口号，来决定哪些流量需要做负载均衡，对需要处理的流量进行NAT处理，转发至后台服务器，并记录下这个TCP或者UDP的流量是由哪台服务器处理的，后续这个连接的所有流量都同样转发到同一台服务器处理。
七层的负载均衡，就是在四层的基础上（没有四层是绝对不可能有七层的），再考虑应用层的特征，比如同一个Web服务器的负载均衡，除了根据VIP加80端口辨别是否需要处理的流量，还可根据七层的URL、浏览器类别、语言来决定是否要进行负载均衡。

分层位置:四层负载均衡在传输层及以下，七层负载均衡在应用层及以下。
性能 :四层负载均衡架构无需解析报文消息内容，在网络吞吐量与处理能力上较高:七层可支持解析应用层报文消息内容，识别URL、Cookie、HTTP header等信息。
原理 :四层负载均衡是基于ip+port;七层是基于虚拟的URL或主机IP等。
功能类比:四层负载均衡类似于路由器;七层类似于代理服务器。
安全性:四层负载均衡无法识别DDoS攻击;七层可防御SYN Cookie/Flood攻击。

二、HAProxy的安装和服务信息

2.1 HAProxy简介

HAProxy是法国开发者威利塔罗(Willy Tarreau) 在2000年使用C语言开发的一个开源软件是一款具备高并发(万级以上)、高性能的TCP和HTTP负载均衡器，支持基于cookie的持久性，自动故障切换，支持正则表达式及web状态统计。

2.2 实验环境

功能	IP
客户端	eth0:172.25.254.10
haproxy	eth0:172.25.254.100，eth1:192.168.0.10
RS1	eth0:192.168.0.10
RS2	eth0:192.168.0.20

2.3 HAProxy的基本配置信息

HAProxy 的配置文件haproxy.cfg由两大部分组成，分别是：

global：全局配置段

进程及安全配置相关的参数
性能调整相关参数
Debug参数

proxies：代理配置段

defaults：为frontend, backend, listen提供默认配置
frontend：前端，相当于nginx中的server {}
backend：后端，相当于nginx中的upstream {}
listen：同时拥有前端和后端配置,配置简单,生产推荐使用

2.3.1 global配置

2.3.1.1 global配置参数说明

复制代码

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
global
log 127.0.0.1 local2    #定义全局的syslog服务器；日志服务器需要开启UDP协议，最多可以定义两个
chroot /var/lib/haproxy    #锁定运行目录
pidfile /var/run/haproxy.pid    #指定pid文件
maxconn 100000    #指定最大连接数
user haproxy    #指定haproxy的运行用户
group haproxy    #指定haproxy的运行组
daemon    #指定haproxy以守护进程方式运行

# turn on stats unix socket
stats socket /var/lib/haproxy/stats    #指定haproxy的套接字文件
nbproc 2    #指定haproxy的work进程数量，默认是1个
cpu-map 1 0    #指定第一个work绑定第一个cpu核心
cpu-map 2 1    #指定第二个work绑定第二个cpu核心
nbthread 2    #指定haproxy的线程数量，默认每个进程一个线程，此参数与nbproc互斥
maxsslconn 100000    #每个haproxy进程ssl最大连接数,用于haproxy配置了证书的场景下
maxconnrate 100    #指定每个客户端每秒建立连接的最大数量

2.3.1.2 为不同进程准备不同套接字

复制代码

[root@haproxy ~]# systemctl stop haproxy.service
[root@haproxy ~]# rm -fr /var/lib/haproxy/stats
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
    #stats socket /var/lib/haproxy/stats
    stats socket /var/lib/haproxy/haproxy1  mode 600 level admin process 1
    stats socket /var/lib/haproxy/haporxy2  mode 660 level admin process 1

[root@haproxy ~]# systemctl restart haproxy.service

效果：

2.3.1.3 多进程和线程

注意：多进程和多线程不能同时启用

多进程和socket文件配置如下：

复制代码

global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 100000
user haproxy
group haproxy
daemon

# turn on stats unix socket
stats socket /var/lib/haproxy/haproxy.sock1 mode 600 level admin process 1
#启用多个sock文件
stats socket /var/lib/haproxy/haproxy.sock2 mode 600 level admin process 2
nbproc 2 #启用多进程
cpu-map 1 0 #进程和cpu核心绑定防止cpu抖动从而减少系统资源消耗
cpu-map 2 1 #2 表示第二个进程，1表示第二个cpu核心

查看多进程信息

启用多线程

复制代码

# turn on stats unix socket
stats socket /var/lib/haproxy/haproxy.sock1 mode 600 level admin process 1
#启用多个sock文件
stats socket /var/lib/haproxy/haproxy.sock2 mode 600 level admin process 2
#nbproc 2
#cpu-map 1 0
#cpu-map 2 1
nbthread 2 #启用多线程

测试：

2.3.2 proxies配置

2.3.2.1 proxies参数说明

参数	作用
defaults	默认配置项，针对以下的frontend、backend和listen生效，可以多个name也可以没有name
frontend	前端servername，类似于Nginx的一个虚拟主机 server和LVS服务集群。
backend	后端服务器组，等于nginx的upstream和LVS中的RS服务器
listen	将frontend和backend合并在一起配置，相对于frontend和backend配置更简洁，生产常用

2.3.2.2 proxies配置-defaults

复制代码

defaults
mode    http    #HAProxy实例使用的连接协议
log    global    #指定日志地址和记录日志条目的syslog/rsyslog日志设备
                 #此处的 global表示使用global配置段中设定的log值。
option    httplog    #日志记录选项，httplog表示记录与HTTP会话相关的各种属性值
                     #包括 HTTP请求、会话状态、连接数、源地址以及连接时间等
option    dontlognull    #dontlognull表示不记录空会话连接日志
option    http-server-close    #等待客户端完整HTTP请求的时间，此处为等待10s。
option    forwardfor    except 127.0.0.0/8    #透传客户端真实IP至后端web服务器
                                            #在apache配置文件中加入:<br>%{XForwarded-For}i
                                            #后在webserver中看日志即可看到地址透传信息
option    redispatch    #当server Id对应的服务器挂掉后，强制定向到其他健康的服务器，重新派发
option    http-keep-alive    #开启与客户端的会话保持
retries    3    #连接后端服务器失败次数
timeout    http-request    10s    #等待客户端请求完全被接收和处理的最长时间
timeout    queue    1m    #设置删除连接和客户端收到503或服务不可用等提示信息前的等待时间
timeout    connect    120s    #设置等待服务器连接成功的时间
timeout    client    600s    #设置允许客户端处于非活动状态，即既不发送数据也不接收数据的时间
timeout    server    600s    #设置服务器超时时间，即允许服务器处于既不接收也不发送数据的非活动时间
timeout    http-keep-alive    60s    #session会话保持超时时间，此时间段内会转发到相同的后端服务器
timeout    check    10s    #指定后端服务器健康检查的超时时间
maxconn    3000
default-server inter 1000 weight 3

2.3.2.3 proxies配置-frontend

frontend配置参数

复制代码

bind：指定HAProxy的监听地址，可以是IPV4或IPV6，可以同时监听多个IP或端口，可同时用于listen
字段中

#配置示例
frontend webserver
bind *:80
mode http
use_backend webserver-80 #调用backend的名称

2.3.2.4 proxies配置-backend

定义一组后端服务器，backend服务器将被frontend进行调用。
注意：backend 的名称必须唯一，并且必须在listen或frontend中事先定义才可以使用，否则服务无法启动。

mode http|tcp #指定负载协议类型,和对应的frontend必须一致
option #配置选项
server #定义后端real server,必须指定IP和端口

注意： option后面加 httpchk，smtpchk,mysql-check,pgsql-check，ssl-hello-chk方法，可用于实现更多应用层检测功能。

server配置

复制代码

check    #对指定real进行健康状态检查，如果不加此设置，默认不开启检查，只有check后面没有其它配置也可以启用检查功能
         #默认对相应的后端服务器IP和端口，利用TCP连接进行周期性健康性检查，注意必须指定端口才能实现健康性检查
addr <IP> #可指定的健康状态监测IP，可以是专门的数据网段，减少业务网络的流量
port <num> #指定的健康状态监测端口
inter <num> #健康状态检查间隔时间，默认2000 ms
fall <num> #后端服务器从线上转为线下的检查的连续失效次数，默认为3
rise <num> #后端服务器从下线恢复上线的检查的连续有效次数，默认为2
weight <weight> #默认为1，最大值为256，0(状态为蓝色)表示不参与负载均衡，但仍接受持久连接
backup #将后端服务器标记为备份状态，只在所有非备份主机down机时提供服务，类似SorryServer
disabled #将后端服务器标记为不可用状态，即维护状态，除了持久模式
         #将不再接受连接，状态为深黄色，优雅下线，不再接受新用户的请求
redirect prefix http://www.baidu.com/ #将请求临时(302)重定向至其它URL，只适用于http模式
maxconn <maxconn> #当前后端server的最大并发连接数

代码示例：

复制代码

backend webserver-80
    mode http
    server web1 192.168.0.10:80 check inter 3s fall 3 rise 5
    server web2 192.168.0.20:80 check inter 3s fall 3 rise 5

测试效果：

2.3.2.5 proxies配置-listen简化配置

使用listen替换 frontend和backend的配置方式，可以简化设置，通常只用于TCP协议的应用

配置示例：

复制代码

listen webserver_80
    bind 172.25.254.100:80
    mode http
    option forwardfor
    server webserver1 192.168.0.10:80 check inter 3s fall 3 rise 5
    server webserver2 192.168.0.20:80 check inter 3s fall 3 rise 5

2.4 socat工具

对服务器动态权重和其它状态可以利用 socat工具进行调整，Socat 是 Linux 下的一个多功能的网络工具，名字来由是Socket CAT，相当于netCAT的增强版。Socat 的主要特点就是在两个数据流之间建立双向通道，且支持众多协议和链接方式，如 IP、TCP、 UDP、IPv6、Socket文件等。

查看haproxy信息

更改haproxy信息

#直接更改报错
[root@haproxy ~]# echo "set weight webserver-80/web1 2 " | socat stdio /var/lib/haproxy/stats
Permission denied

#对socket进行授权
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
stats socket /var/lib/haproxy/stats mode 600 level admin
[root@haproxy ~]# rm -rf /var/lib/haproxy/*
[root@haproxy ~]# systemctl restart haproxy.service
[root@haproxy ~]# ll /var/lib/haproxy/
总用量 0
srw------- 1 root root 0 3月 5 21:02 stats

#执行权重更改
[root@haproxy ~]# echo "get weight webserver-80/web1" | socat stdio /var/lib/haproxy/stats
1 (initial 1)

[root@haproxy ~]# echo "set weight webserver-80/web1 4 " | socat stdio /var/lib/haproxy/stats

[root@haproxy ~]# echo "get weight webserver-80/web1" | socat stdio /var/lib/haproxy/stats
4 (initial 1)

测试：

三、HAProxy的算法

HAProxy通过固定参数balance指明对后端服务器的调度算法，balance参数可以配置在listen或backend选项中。
HAProxy的调度算法分为静态和动态调度算法，而有些算法可以根据参数在静态和动态算法中相互转换。

3.1 静态算法

静态算法：按照事先定义好的规则轮询公平调度，不关心后端服务器的当前负载、连接数和响应速度等，且无法实时修改权重(只能为0和1,不支持其它值)，只能靠重启HAProxy生效。

3.1.1 static-rr：基于权重的轮询调度

不支持运行时利用socat进行权重的动态调整(只支持0和1,不支持其它值)
不支持端服务器慢启动
其后端主机数量没有限制，相当于LVS中的 wrr

慢启动是指在服务器刚刚启动上不会把他所应该承担的访问压力全部给它，而是先给一部分，当没

问题后在给一部分

示例：

复制代码

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
    bind        *:80
    balance     static-rr
    server haha 192.168.0.10:80 check inter 3s fall 3 rise 5 weight 2
    server hehe 192.168.0.20:80 check inter 3s fall 3 rise 5 weight 1

[root@haproxy ~]# systemctl restart haproxy.service

测试：

3.1.2 first

根据服务器在列表中的位置，自上而下进行调度
其只会当第一台服务器的连接数达到上限，新请求才会分配给下一台服务
其会忽略服务器的权重设置
不支持用socat进行动态修改权重，可以设置0和1，可以设置其它值但无效

示例：

复制代码

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
    bind        *:80
    balance     first
    server haha 192.168.0.10:80 maxconn 1 check inter 3s fall 3 rise 5 weight 2
    server hehe 192.168.0.20:80 check inter 3s fall 3 rise 5 weight 1

[root@haproxy ~]# systemctl restart haproxy.service

测试：

3.2 动态算法

基于后端服务器状态进行调度适当调整，
新请求将优先调度至当前负载较低的服务器
权重可以在haproxy运行时动态调整无需重启

3.2.1 roundrobin

基于权重的轮询动态调度算法
支持权重的运行时调整，不同于lvs中的rr轮训模式
HAProxy中的roundrobin支持慢启动(新加的服务器会逐渐增加转发数)
其每个后端backend中最多支持4095个real server
支持对real server权重动态调整
roundrobin为默认调度算法,此算法使用广泛

示例：

复制代码

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
    bind        *:80
    balance     roundrobin
    server haha 192.168.0.10:80 check inter 3s fall 3 rise 5 weight 2
    server hehe 192.168.0.20:80 check inter 3s fall 3 rise 5 weight 1
    
[root@haproxy ~]# systemctl restart haproxy.service

#支持动态权重更新
[root@haproxy ~]# echo "get  weight webcluster/haha" | socat  stdio /var/lib/haproxy/stats
2 (initial 2)
[root@haproxy ~]# echo "set  weight  webcluster/haha 1  " | socat stdio /var/lib/haproxy/stats       
[root@haproxy ~]# echo "get  weight webcluster/haha" | socat  stdio /var/lib/haproxy/stats
1 (initial 2)

测试：

3.2.2 leastconn

leastconn加权的最少连接的动态
支持权重的运行时调整和慢启动，即：根据当前连接最少的后端服务器而非权重进行优先调度(新客户端连接)
比较适合长连接的场景使用，比如：MySQL等场景

示例：

复制代码

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
    bind        *:80
    balance     leastconn
    server haha 192.168.0.10:80 check inter 3s fall 3 rise 5 weight 2
    server hehe 192.168.0.20:80 check inter 3s fall 3 rise 5 weight 1
    
[root@haproxy ~]# systemctl restart haproxy.service

测试：

3.3 其他算法（混合算法）

其它算法即可作为静态算法，又可以通过选项成为动态算

3.3.1 source

源地址hash ，基于用户源地址hash并将请求转发到后端服务器，后续同一个源地址请求将被转发至同一个后端web服务器。此方式当后端服务器数据量发生变化时，会导致很多用户的请求转发至新的后端服务器，默认为静态方式，但是可以通过hash-type支持的选项更改这个算法一般是在不插入Cookie的TCP模式下使用，也可给拒绝会话cookie的客户提供最好的会话粘性，适用于session会话保持但不支持cookie和缓存的场景源地址有两种转发客户端请求到后端服务器的服务器选取计算方式，分别是取模法 和一致性hash

如果访问的客户端是一个家庭，那么所有的家庭的访问流量都会被定向到一台服务器，这就是source算法的缺陷

3.3.1.1 map-base取模

map-base ：取模法，对source地址进行hash计算，再基于服务器总权重的取模，最终结果决定将此请求转发至对应的后端服务器。

此方法是静态的，即不支持在线调整权重，不支持慢启动，可实现对后端服务器均衡调度
缺点是当服务器的总权重发生变化时，即有服务器上线或下线，都会因总权重发生变化而导致调度结果整体改变

示例：

复制代码

#默认静态算法
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
    bind        *:80
    balance     source
    server haha 192.168.0.10:80 check inter 3s fall 3 rise 5 weight 2
    server hehe 192.168.0.20:80 check inter 3s fall 3 rise 5 weight 1
    
[root@haproxy ~]# systemctl restart haproxy.service

测试：

3.3.1.2 一致性hash

一致性哈希，当服务器的总权重发生变化时，对调度结果影响是局部的，不会引起大的变动hash（o）mod n

该hash算法是动态的，支持使用 socat等工具进行在线权重调整，支持慢启动

一致性hash示意图：

后端服务器在线与离线的调度方式

hash环偏斜问题：

增加虚拟服务器IP数量，比如：一个后端服务器根据权重为1生成1000个虚拟IP，再hash。而后端服务器权重为2则生成2000的虚拟IP，再bash，最终在hash环上生成3000个节点，从而解决hash环偏斜问题

示例：

复制代码

#source动态算法
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
    bind        *:80
    balance     source
    hash-type 	consistent
    server haha 192.168.0.10:80 check inter 3s fall 3 rise 5 weight 2
    server hehe 192.168.0.20:80 check inter 3s fall 3 rise 5 weight 1
    
[root@haproxy ~]# systemctl restart haproxy.service

测试：

3.3.2 uri

uri：基于对用户请求的URI的左半部分或整个uri做hash，再将hash结果对总权重进行取模后根据最终结果将请求转发到后端指定服务器。

适用于后端是缓存服务器场景
默认是静态算法，也可以通过hash-type指定map-based和consistent，来定义使用取模法还是一致性hash
注意：此算法基于应用层，所以只支持 mode http ，不支持 mode tcp

#主备实验环境
[root@webserver1 ~]# echo RS1 - 192.168.0.10 > /var/www/html/index1.html
[root@webserver1 ~]# echo RS1 - 192.168.0.10 > /var/www/html/index2.html
[root@webserver2 ~]# echo RS2 - 192.168.0.20 > /var/www/html/index1.html
[root@webserver2 ~]# echo RS2 - 192.168.0.20 > /var/www/html/index2.html

#设定uri算法
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
bind *:80
balance uri
hash-type consistent
server haha 192.168.0.10:80 check inter 3s fall 3 rise 5 weight 2
server hehe 192.168.0.20:80 check inter 3s fall 3 rise 5 weight 1

[root@haproxy ~]# systemctl restart haproxy.service

测试：

3.3.3 url_param

url_param对用户请求的url中的params部分中的一个参数key对应的value值作hash计算，并由服务器总权重相除以后派发至某挑出的服务器，后端搜索同一个数据会被调度到同一个服务器，多用于电商

通常用于追踪用户，以确保来自同一个用户的请求始终发往同一个real server

#主备实验环境
[root@webserver1 ~]# echo RS1 - 192.168.0.10 > /var/www/html/index1.html
[root@webserver1 ~]# echo RS1 - 192.168.0.10 > /var/www/html/index2.html
[root@webserver2 ~]# echo RS2 - 192.168.0.20 > /var/www/html/index1.html
[root@webserver2 ~]# echo RS2 - 192.168.0.20 > /var/www/html/index2.html

#设定url_param算法
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
bind *:80
balance url_param name
hash-type consistent
server haha 192.168.0.10:80 check inter 3s fall 3 rise 5 weight 2
server hehe 192.168.0.20:80 check inter 3s fall 3 rise 5 weight 1

[root@haproxy ~]# systemctl restart haproxy.service

测试：

3.3.4 hdr

针对用户每个http头部(header)请求中的指定信息做hash，此处由name指定的http首部将会被取出并做hash计算，然后由服务器总权重取模以后派发至某挑出的服务器，如果无有效值，则会使用默认的轮询调度

复制代码

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
    bind        *:80
    balance     hdr（User-Agent）
    hash-type 	consistent
    server haha 192.168.0.10:80 check inter 3s fall 3 rise 5 weight 2
    server hehe 192.168.0.20:80 check inter 3s fall 3 rise 5 weight 1
    
[root@haproxy ~]# systemctl restart haproxy.service

测试：

3.3.5 算法总结

复制代码

#静态
static-rr--------->tcp/http
first------------->tcp/http

#动态
roundrobin-------->tcp/http
leastconn--------->tcp/http
random------------>tcp/http

#以下静态和动态取决于hash_type是否consistent
source------------>tcp/http
Uri--------------->http
url_param--------->http
hdr--------------->http

3.3.6 各算法使用场景

复制代码

first    #使用较少

static-rr    #做了session共享的web集群
roundrobin
random

leastconn    #数据库
source

#基于客户端公网IP的会话保持
Uri--------------->http    #缓存服务器，CDN服务商，蓝汛、百度、阿里云、腾讯
url_param--------->http    #可以实现session保持
hdr    #基于客户端请求报文头部做下一步处理

四、高级功能及配置

4.1 基于cookie的回话粘滞

cookie value：为当前server指定cookie值，实现基于cookie的会话黏性，相对于基于 source 地址hash调度算法对客户端的粒度更精准，但同时也加大了haproxy负载，目前此模式使用较少，已经被session共享服务器代替。

注意：不支持 tcp mode，使用 http mode

配置选项：

复制代码

cookie name [ rewrite | insert | prefix ][ indirect ] [ nocache ][ postonly ] [
preserve ][ httponly ] [ secure ][ domain ]* [ maxidle <idle> ][ maxlife ]

name： #cookie的key名称，用于实现持久连接
insert： #插入新的cookie，默认不插入cookie
indirect： #如果客户端已经有cookie，则不会再发送cookie信息
nocache： #当client和hapoxy之间有缓存服务器（如：CDN）时，不允许中间缓存器缓存cookie，
          #因为这会导致很多经过同一个CDN的请求都发送到同一台后端服务器

示例：

复制代码

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
    bind        *:80
    balance     roundrobin
    hash-type   consistent
    cookie WEBCOOKIE insert nocache indirect
    server haha 192.168.0.10:80 cookie web1 check inter 3s fall 3 rise 5 weight 2
    server hehe 192.168.0.20:80 cookie web2 check inter 3s fall 3 rise 5 weight 1

[root@haproxy ~]# systemctl restart haproxy.service

测试：

Edge浏览器：

谷歌浏览器：

4.2 HAProxy状态页

通过web界面，显示当前HAProxy的运行状态

状态页配置项：

复制代码

stats enable    #基于默认的参数启用stats page
stats hide-version    #将状态页中haproxy版本隐藏
stats refresh <delay>    #设定自动刷新时间间隔，默认不自动刷新
stats uri <prefix>    #自定义stats page uri，默认值：/haproxy?stats
stats auth <user>:<passwd>    #认证时的账号和密码，可定义多个用户，每行指定一个用户
                              #默认：no authentication
stats admin { if | unless } <cond>    #启用stats page中的管理功能

示例：

复制代码

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen stats
    mode        http
    bind        0.0.0.0:4321
    stats       enable
    log         global
    stats       refresh     1    #开启自动刷新
    stats uri   /status
    stats auth  Skilce:Skilce
[root@haproxy ~]# systemctl restart haproxy.service

4.3 IP透传

web服务器中需要记录客户端的真实IP地址，用于做访问统计、安全防护、行为分析、区域排行等场景。

4.3.1 四层IP透传

默认是未开启透传功能的

启用nginx的四层访问控制（webserver2相同配置）：

复制代码

[root@webserver1 ~]# vim /etc/nginx/nginx.conf
    server {
        listen       80 proxy_protocol;			#启用四层访问控制
        listen       [::]:80;
        server_name  _;
        root         /usr/share/nginx/html;

        # Load configuration files for the default server block.
        include /etc/nginx/default.d/*.conf;

        error_page 404 /404.html;
        location = /404.html {
        }

[root@webserver1 ~]# systemctl restart nginx.service

测试：

出现上述报错标识nginx只支持四层访问

开启四层透传：

复制代码

#设定haproxy访问4层
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
    bind        *:80
    mode        tcp				#四层访问
    balance     roundrobin
    server haha 192.168.0.10:80 send-proxy check inter 3s fall 3 rise 5 weight 1
    server hehe 192.168.0.20:80 send-proxy check inter 3s fall 3 rise 5 weight 1
    
[root@haproxy ~]# systemctl restart haproxy.service

#设置4层ip透传
[root@webserver1&2 ~]# vim /etc/nginx/nginx.conf

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '"$proxy_protocol_addr"'			#采集透传信息
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

[root@webserver1&2 ~]# systemctl restart nginx.service

测试：

4.3.2 七层IP透传

当haproxy工作在七层的时候，也可以透传客户端真实IP至后端服务器

配置示例：

复制代码

#实验环境
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
    bind        *:80
    balance     roundrobin
    server haha 192.168.0.10:80 check inter 3s fall 3 rise 5 weight 1
    server hehe 192.168.0.20:80 check inter 3s fall 3 rise 5 weight 1
    
[root@haproxy ~]# systemctl restart haproxy.service

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    option http-server-close
    option forwardfor       except 127.0.0.0/8    #开启haproxy透传功能

#在rs中设定采集透传IP
[root@webserver2 ~]#  vim /etc/httpd/conf/httpd.conf
201     LogFormat "%h %l %u %t \"%r\" %>s %b \"%{X-Forwarded-For}i\" \"%{Referer}i\" \"%{User-Agent}i    \"" combined
[root@webserver2 ~]# systemctl restart httpd

测试：

复制代码

[root@webserver2 ~]# cat /etc/httpd/logs/access_log

4.4 ACL

访问控制列表（ACL，Access Control Lists），是一种基于包过滤的访问控制技术。

它可以根据设定的条件对经过服务器传输的数据包进行过滤(条件匹配)即对接收到的报文进行匹配和过滤，基于请求报文头部中的源地址、源端口、目标地址、目标端口、请求方法、URL、文件后缀等信息内容进行匹配并执行进一步操作，比如允许其通过或丢弃。

在Linux中设定解析：

复制代码

[root@haproxy ~]# vim /etc/hosts
172.25.254.100  www.skilce.org     bbs.skilce.org    news.skilce.org   login.skilce.org   www.skilce.com

设定基础的HAProxy实验配置：

复制代码

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
frontend webcluster
    bind            *:80
    mode            http
    use_backend     webserver-80-web1

backend webserver-80-web1
    server web1 192.168.0.10:80 check inter 3s fall 3 rise 5

backend webserver-80-web2
    server web2 192.168.0.20:80 check inter 3s fall 3 rise 5

[root@haproxy ~]# systemctl restart haproxy.service

4.4.1 ACL配置选项

复制代码

#用acl来定义或声明一个acl
acl    <aclname>    <criterion>    [flags]    [operator]    [<value>]
acl    名称          匹配规范       匹配模式    具体操作符     操作对象类型

4.4.2 ACL-Name名称

复制代码

acl test path_end -m sub /a

#ACL名称，可以使用大字母A-Z、小写字母a-z、数字0-9、冒号：、点.、中横线和下划线，并且严格区分
大小写，比如:my_acl和My_Acl就是两个完全不同的acl5.8.1.2 ACL-criterion

4.4.3 ACL-criterion匹配规范

定义ACL匹配规范，即：判断条件

复制代码

hdr string，提取在一个HTTP请求报文的首部
hdr（[<name> [，<occ>]]）：完全匹配字符串,header的指定信息，<occ> 表示在多值中使用的值的出现次数
hdr_beg（[<name> [，<occ>]]）：前缀匹配，header中指定匹配内容的begin
hdr_end（[<name> [，<occ>]]）：后缀匹配，header中指定匹配内容end
hdr_dom（[<name> [，<occ>]]）：域匹配，header中的dom（host）
hdr_dir（[<name> [，<occ>]]）：路径匹配，header的uri路径
hdr_len（[<name> [，<occ>]]）：长度匹配，header的长度匹配
hdr_reg（[<name> [，<occ>]]）：正则表达式匹配，自定义表达式(regex)模糊匹配
hdr_sub（[<name> [，<occ>]]）：子串匹配，header中的uri模糊匹配 模糊匹配c 报文中a/b/c也会匹配

#示例：
hdr_dom(host) 请求的host名称，如 www.timinglee.org
hdr_beg(host) 请求的host开头，如 www. img. video. download. ftp.
hdr_end(host) 请求的host结尾，如 .com .net .cn

#返回第一个主机头和请求的路径部分的连接，该请求从主机名开始，并在问号之前结束,对虚拟主机有用
<scheme>://<user>:<password>@#<host>:<port>/<path>;<params>#?<query>#<frag>
base : exact string match
base_beg : prefix match
base_dir : subdir match
base_dom : domain match
base_end : suffix match
base_len : length match
base_reg : regex match
base_sub : substring match
path : string

#提取请求的URL路径，该路径从第一个斜杠开始，并在问号之前结束（无主机部分）
<scheme>://<user>:<password>@<host>:<port>#/<path>;<params>#?<query>#<frag>
path : exact string match
path_beg : prefix match    #请求的URL开头，如/static、/images、/img、/css
path_end : suffix match    #请求的URL中资源的结尾，如 .gif .png .css .js .jpg .jpeg
path_dom : domain match
path_dir : subdir match
path_len : length match
path_reg : regex match
path_sub : substring match

#示例：
path_beg -i /haproxy-status/
path_end .jpg .jpeg .png .gif
path_reg ^/images.*\.jpeg$
path_sub image
path_dir jpegs
path_dom timinglee
url : string

#提取请求中的整个URL。
url ：exact string match
url_beg : prefix match
url_dir : subdir match
url_dom : domain match
url_end : suffix match
url_len : length match
url_reg : regex match
url_sub : substring match
dst    #目标IP
dst_port    #目标PORT
src    #源IP
src_port    #源PORT

#示例：
acl invalid_src src 10.0.0.7 192.168.1.0/24
acl invalid_src src 172.16.0.0/24

#七层协议
acl valid_method method GET HEAD
http-request deny if ! valid_method

4.4.4 ACL-flags匹配模式

复制代码

-i 不区分大小写
-m 使用指定的正则表达式匹配方法
-n 不做DNS解析
-u 禁止acl重名，否则多个同名ACL匹配或关系

4.4.5 ACL-operator具体操作符

复制代码

整数比较：eq、ge、gt、le、lt
字符比较：
- exact match (-m str) :字符串必须完全匹配模式
- substring match (-m sub) :在提取的字符串中查找模式，如果其中任何一个被发现，ACL将匹配
- prefix match (-m beg) :在提取的字符串首部中查找模式，如果其中任何一个被发现，ACL将匹配
- suffix match (-m end) :将模式与提取字符串的尾部进行比较，如果其中任何一个匹配，则ACL进行匹配
- subdir match (-m dir) :查看提取出来的用斜线分隔（"/"）的字符串，如其中任一个匹配，则ACL进行匹配
- domain match (-m dom) :查找提取的用点（"."）分隔字符串，如果其中任何一个匹配，则ACL进行匹配

4.4.6 ACL-value操作对象

复制代码

The ACL engine can match these types against patterns of the following types :
- Boolean    #布尔值
- integer or integer range    #整数或整数范围，比如用于匹配端口范围
- IP address / network    #IP地址或IP范围, 192.168.0.1 ，192.168.0.1/24
- string--> www.timinglee.org
exact        #精确比较
substring    #子串
suffix       #后缀比较
prefix       #前缀比较
subdir       #路径， /wp-includes/js/jquery/jquery.js
domain       #域名，www.timinglee.org
- regular expression    #正则表达式
- hex block    #16进制

4.5 自定义HAProxy错误界面

对指定的报错进行重定向，进行优雅的显示错误页面

4.5.1 配置sorryserver上线

示例：

复制代码

#在新主机中安装apache（可以用haproxy主机代替）
[root@haproxy ~]# dnf install httpd -y
[root@haproxy ~]# vim /etc/httpd/conf/httpd.conf
47 Listen 8080
[root@haproxy ~]# systemctl enable --now httpd
Created symlink /etc/systemd/system/multi-user.target.wants/httpd.service → /usr/lib/systemd/system/httpd.service.

[root@haproxy ~]# echo "童哥在，没意外" > /var/www/html/index.html


#配置sorryserver上线、
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
    bind        *:80
    mode        tcp
    balance     roundrobin
    server haha 192.168.0.10:80  check inter 3s fall 3 rise 5 weight 1
    server hehe 192.168.0.20:80  check inter 3s fall 3 rise 5 weight 1
    server wuwu 192.168.0.100:8080  backup					#sorryserver
    
[root@haproxy ~]# systemctl restart haproxy.service

测试：

关闭两台正常的业务主机后：

复制代码

[root@webserver1+2 ~]# systemctl stop httpd

再测试：

4.5.2 自定义错误页面

当所有主机包括sorryserver都宕机了，那么haproxy会提供一个默认访问的错误页面，这个错误页面跟报错代码有关，这个页面可以通过定义来机型设置。

复制代码

#出现的错误页面
[root@webserver1+2 ~]# systemctl stop httpd
[root@haproxy ~]# systemctl stop httpd

#所有后端web服务都宕机
[Administrator.DESKTOP-VJ307M3] ➤ curl 172.25.254.100
<html><body><h1>503 Service Unavailable</h1>
No server is available to handle this request.
</body></html>

[root@haproxy ~]# mkdir /errorpage/html/ -p
[root@haproxy ~]# vim /errorpage/html/503.http
HTTP/1.0 503 Service Unavailable
Cache-Control: no-cache
Connection: close
Content-Type: text/html;charset=UTF-8

<html><body><h1>什么动物生气最安静</h1>
大猩猩！！
</body></html>

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    option http-server-close
    option forwardfor       except 127.0.0.0/8
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000
    errorfile 503           /errorpage/html/503.http			#error 页面
[root@haproxy ~]# systemctl restart haproxy.service

测试：

4.5.3 从定向错误到指定网站

复制代码

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    option http-server-close
    option forwardfor       except 127.0.0.0/8
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000
    errorloc 503            http://www.baidu.com			#error 页面
[root@haproxy ~]# systemctl restart haproxy.service

4.6 四层负载

针对除HTTP以外的TCP协议应用服务访问的应用场景

MySQL 、Redis 、Memcache 、RabbitMQ

注意：如果使用frontend和backend，一定在 frontend 和 backend 段中都指定mode tcp

对 MySQL 服务实现四层负载：

复制代码

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen mysql_port
bind :3306
mode tcp
balance leastconn
server mysql1 192.168.0.101:3306 check
server mysql2 192.168.0.102:3306 check

#或者使用frontend和backend实现
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
frontend mysql_port
bind :3306
mode tcp
use_backend mysql_rs
backend mysql_rs
mode tcp
balance leastconn
server mysql1 192.168.0.101:3306 check
server mysql2 192.168.0.102:3306 check
haproxy ~]# systemctl restart haproxy.service

#在后端服务器安装和配置mariadb服务（webserver2上相同配置）
[root@webserver1 ~]# yum install mariadb-server -y
[root@webserver1 ~]# vim /etc/my.cnf
[mysqld]
server-id=1 #在另一台主机为
[root@webserver2 ~]# vim /etc/my.cnf
[mysqld]
server-id=2 #在另一台主机为
rs1 ~]# systemctl start mariadb
rs1 ~]# mysql -e "grant all on *.* to lee@'%' identified by 'lee';"

测试：

复制代码

[root@haproxy ~]# mysql -ulee -plee -h 172.25.254.100 -e "show variables like
'hostname'"
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| hostname | webserver2 |
+---------------+-------+
[root@haproxy ~]# mysql -ulee -plee -h 172.25.254.100 -e "show variables like
'hostname'"
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| hostname | webserver1 |
+---------------+-------+
[root@haproxy ~]# mysql -ulee -plee -h172.25.254.100 -e "select @@server_id"
+-------------+
| @@server_id |
+-------------+
| 1 |
+-------------+
[root@haproxy ~]# mysql -ulee -plee -h172.25.254.100 -e "select @@server_id"
+-------------+
| @@server_id |
+-------------+
| 2 |
+-------------+

4.7 HAProxy https实现

haproxy可以实现https的证书安全,从用户到haproxy为https,从haproxy到后端服务器用http通信，但基于性能考虑,生产中证书都是在后端服务器比如nginx上实现。

制作证书：

[root@haproxy ~]# mkdir /etc/haproxy/certs/
[root@haproxy ~]# openssl req -newkey rsa:2048 -nodes -sha256 -keyout /etc/haproxy/certs/timinglee.org.key -x509 -days 365 -out /etc/haproxy/certs/timinglee.org.crt
全站加密：

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
frontend webcluster-http
bind *:80
redirect scheme https if ! { ssl_fc }

listen webcluster-https
bind *:443 ssl crt /etc/haproxy/certs/timinglee.pem
mode http
balance roundrobin
server haha 192.168.0.10:80 check inter 3s fall 3 rise 5 weight 1
server hehe 192.168.0.20:80 check inter 3s fall 3 rise 5 weight 1

[root@haproxy ~]# systemctl restart haproxy.service

测试：

复制代码

[root@webserver1 ~]#curl -IkL http://172.25.254.100
HTTP/1.1 302 Found
content-length: 0
location: https://www.timinglee.org/
cache-control: no-cache
HTTP/1.1 200 OK
date: Sat, 04 Apr 2020 02:31:31 GMT
server: Apache/2.4.6 (CentOS) PHP/5.4.16
last-modified: Thu, 02 Apr 2020 01:44:13 GMT
etag: "a-5a244f01f8adc"
accept-ranges: bytes
content-length: 10
content-type: text/html; charset=UTF-8

[root@haproxy~]#curl -Ik https://www.timinglee.org
HTTP/1.1 200 OK
date: Sat, 04 Apr 2020 02:31:50 GMT
server: Apache/2.4.6 (CentOS) PHP/5.4.16
last-modified: Thu, 02 Apr 2020 01:44:28 GMT
etag: "a-5a244f0fd5175"
accept-ranges: bytes
content-length: 10
content-type: text/html; charset=UTF-8

一、负载均衡

1.1 什么是负载均衡

1.2 为什么用负载均衡

1.3 四层负载均衡

1.4 七层负载均衡

1.5 四层和七层的区别

二、HAProxy的安装和服务信息

2.1 HAProxy简介

2.2 实验环境

2.3 HAProxy的基本配置信息

2.3.1 global配置

2.3.1.1 global配置参数说明

2.3.1.2 为不同进程准备不同套接字

2.3.1.3 多进程和线程

2.3.2 proxies配置

2.3.2.1 proxies参数说明

2.3.2.2 proxies配置-defaults

2.3.2.3 proxies配置-frontend

2.3.2.4 proxies配置-backend

2.3.2.5 proxies配置-listen简化配置

2.4 socat工具

三、HAProxy的算法

3.1 静态算法

3.1.1 static-rr**：基于权重的轮询调度**

3.1.2 first

3.2 动态算法

3.2.1 roundrobin

3.2.2 leastconn

3.3 其他算法（混合算法）

3.3.1 source

3.3.1.1 map-base取模

3.3.1.2 一致性hash

3.3.2 uri

3.3.3 url_param

3.3.4 hdr

3.3.5 算法总结

3.3.6 各算法使用场景

四、高级功能及配置

4.1 基于cookie的回话粘滞

4.2 HAProxy状态页

4.3 IP透传

4.3.1 四层IP透传

4.3.2 七层IP透传

4.4 ACL

4.4.1 ACL配置选项

4.4.2 ACL-Name名称

4.4.3 ACL-criterion****匹配规范

4.4.4 ACL-flags****匹配模式

4.4.5 ACL-operator****具体操作符

4.4.6 ACL-value****操作对象

4.5 自定义HAProxy错误界面

4.5.1 配置sorryserver上线

4.5.2 自定义错误页面

4.5.3 从定向错误到指定网站

4.6 四层负载

4.7 HAProxy https实现

3.1.1 static-rr：基于权重的轮询调度

4.4.3 ACL-criterion匹配规范

4.4.4 ACL-flags匹配模式

4.4.5 ACL-operator具体操作符

4.4.6 ACL-value操作对象