haproxy（未完成）

写在前面

了解haproxy之前希望你能了解一定的负载均衡原理，这会对你了解haproxy有不小的帮助

详情请见http://t.csdnimg.cn/ijWYa

注：所有不清楚的知识点都可以在写在最后目录下找到

1、Haproxy简介

HAProxy是法国开发者 威利塔罗 (Willy Tarreau) 在 2000 年使用 C 语言开发的一个开源软件是一款具备高并发( 万级以上 ) 、高性能的 TCP 和 HTTP 负载均衡器，支持基于cookie 的持久性（不怎么用的到了），自动故障切换（这个很棒），支持正则表达式及 web 状态统计，支持动态更改服务器状态。
社区版网站： http://www.haproxy.org

2、Haproxy的安装和基本配置信息

|---------|-----------------|---------|
| 主机 | IP | 角色 |
| haproxy | 192.168.220.100 | 负载均衡调度器 |
| server1 | 192.168.220.150 | db1 |
| server2 | 192.168.220.200 | db2 |

2.1、haproxy的安装

这里haproxy采用的安装方式是配置rhel9的本地源，直接从本地源里下载

#创建挂载目录
mkdir /rhel9

#将挂载命令写入开机自启文件中，并授予该文件执行权限
echo "mount /dev/cdrom /rhel9" > /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local

#写一个repl9的repo文件
[AppStream]
name=AppStream
baseurl=file:///rhel9/AppStream/        #本地yum源的配置
gpgcheck=0

[BaseOS]
name=BaseOS
baseurl=file:///rhel9/BaseOS/
gpgcheck=0

#下载haproxy
yum install haproxy -y

2.2haproxy的基本配置信息

haproxy配置文件：/etc/haproxy/haproxy.cfg

2.2.1基本配置文件global参数

#打开配置文件 
vim /etc/haproxy/haproxy.cfg
global                                  #全局参数
    log         127.0.0.1 local2        #日志存放目录，具体后续在/etc/rsyslog.conf

    chroot      /var/lib/haproxy        #锁定运行目录
    pidfile     /var/run/haproxy.pid    #指定Pid所在文件
    maxconn     4000                    #指定最大连接数，建议十万
    user        haproxy                 #指定用户
    group       haproxy                 #指定用户组
    nbproc      2                       #开启的haproxy的进程数，默认进程数为1
#   nbthread    1     #指定每个haproxy进程开启的线程数，默认为每个进程一个线程，不能和nbproc共存
    cpu-map 1 0                         #将第一个进程绑定至0号CPU
    maxsslconn 100000                   #haproxy进程ssl最大连接数,用于https场景下
    maxconnrate 100                     #每个进程每秒创建的最大连接数量

    daemon                              #以守护进程运行

    # turn on stats unix socket
    stats socket /var/lib/haproxy/stats    #套接字文件

    # utilize system-wide crypto-policies
    ssl-default-bind-ciphers PROFILE=SYSTEM
    ssl-default-server-ciphers PROFILE=SYSTEM

2.2.2基本配置文件proxys的相关参数

2.2.2.1 default的相关参数

defaults
    mode                    http                #七层负载均衡，tcp为四层
    log                     global              #日志，根据global参数
    option                  httplog             #log选项，采集http会话相关的各种属性值    
                                                #包括HTTP请求、会话状态、源地址、连接时间等
    option                  http-keep-alive     #开启与客户端的会话保持
    option                  dontlognull         #log选项，不采集空会话连接日志
    option http-server-close                    #等待客户端完整HTTP请求的时间，此处为等待10s
    option forwardfor       except 127.0.0.0/8  #透传客户端真实IP至后端web服务器，除lo外
    option                  redispatch          #当连接的服务器挂掉后，强制连接其他健康的server
    retries                 3                   #连接后端服务器最多尝试次数
    timeout http-request    10s                 #等待客户端请求完全被接收和处理的最长时间
    timeout queue           1m                  #设置删除连接和客户端收到503信息前的等待时间
    timeout connect         10s                 #设置等待服务器连接成功的时间
    timeout client          1m                  #设置允许客户端处于非活动状态的时间
    timeout server          1m                  #设置服务端超时的时间
    timeout http-keep-alive 10s                 #session 会话保持超时时间
                                                #此时间段内会转发到相同的后端服务器
    timeout check           10s                 #指定后端服务器健康检查的超时时间
    maxconn                 3000                #指定一个haproxy进程最大的连接数
    errorfile 503 /etc/errorpage/503.http       #配置503，当报503时，使其访问定义的文件
    errorloc 503 https://www.baidu.com          #配置503，当报503时，使其重定向到百度

default中这三个时间不好区分理解，采用画图方式理解

• option http-server-close
• timeout http-request
• timeout connect

2.2.2.2 frontend的相关配置

frontend webcluster        #名字随意起
    bind *:80              #监听的主机和端口 *表示任意，格式是IP:Port
    mode http              #采用几层负载均衡
    use_backend webcluster-host        #调用的backend

2.2.2.3 backend的相关配置

backend webcluster-host                #名字需要与frontend使用的backend名称一致
    balance roundrobin                 #采用的算法是轮询
    server web1 192.168.220.150:80     #后端服务器主机
    server web2 192.168.220.200:80     #后端服务器主机

对于server配置参数的补充

• check：对指定 real 进行健康状态检查，如果不加此设置，默认不开启检查
• addr： 可指定的健康状态监测 IP ，可以是专门的数据网段，减少业务网络的流量
• inter <num>： 健康状态检查间隔时间，默认 2s
• weight <num>： 默认为 1 ，最大值为 256 ， 0( 状态为蓝色 ) 表示不参与负载均衡，但仍接受持久连接
• maxconn <maxconn>： 当前后端 server 的最大并发连接数
• redirect prefix http://www.baidu.com/： 将请求临时 (302) 重定向至其它 URL ，只适用 http 模式
• disabled： 将后端服务器标记为不可用状态，即维护状态，除了持久模式
• backup： 将后端服务器标记为备份状态 , 只在所有非备份主机 down 机时提供服务，类似 Sorry Server
• rise <num>： 后端服务器从下线恢复上线的检查的连续有效次数，默认为 2
• fall <num>： 后端服务器从线上转为线下的检查的连续失效次数，默认为 3

• port： 指定的健康状态监测端口
  2.2.2.4 listen的相关配置

  listen webserver_80
  bind *:80
  mode http
  balance roundrobin
  server web1 192.168.220.150:80 check inter 2 fall 2 rise 3
  server web2 192.168.220.200:80 check inter 2 fall 2 rise 3 weight 2
  server web3 192.168.220.100:8080 backu

3、haproxy热更新-socat

我的haproxy配置

使用工具socat

需要先在下载并修改haproxy配置文件，以下配置是socat热更新单进程的配置

socat动态热更新多进程

socat命令（重启失效）

• 查看帮助：echo "help" | socat stdio /var/lib/haproxy/stats
• 查看haproxy状态：echo "show info" | socat stdio /var/lib/haproxy/stats
• 查看集群状态：echo "show servers state" | socat stdio /var/lib/haproxy/stats
• 查看集群权重：echo "get weight myhaback/web1" | socat stdio /var/lib/haproxy/stats
• 设置集群权重：echo "set weight myhaback/web2 2" | socat stdio /var/lib/haproxy/stats
• 下线后端服务：echo "disable server myhabck/web1" | socat stdio/var/lib/haproxy/stats
• 上线后端服务：echo "enable server myhaback/web1" socat stdio /var/lib/haproxy/stats

4、haproxy调度算法

4.1、静态算法

静态算法：按照事先定义好的规则轮询公平调度，不关心后端服务器的当前负载、连接数和响应速度 等，且无法实时修改权重(只能为 0 和 1, 不支持其它值 ) ，只能靠重启 HAProxy 生效。

4.1.1、static-rrr**：基于权重的轮询调度**

• 不支持端服务器慢启动
• 其后端主机数量没有限制，相当于 LVS 中的 wrr

配置如下

验证：按照权重分配，访问9次，应是三次web1，6次web2

4.1.2、first

• 根据服务器在列表中的位置，自上而下进行调度
• 其只会当第一台服务器的连接数达到上限，新请求才会分配给下一台服务
• 其会忽略服务器的权重设置

配置如下

验证，如是first，那么全部的访问都应打向web1

4.2、动态算法

基于后端服务器状态进行调度适当调整，新请求将优先调度至当前负载较低的服务器，权重可以在haproxy运行时动态调整无需重启

4.2.1、roundrobin

先看负载，再看权重

相同权重，不同负载，选负载低的

不同权重，相同负载，选权重高的

不同权重，不同负载，选负载低的

• 基于权重的轮询动态调度算法
• HAProxy 中的 roundrobin 支持慢启动
• 其每个后端 backend 中最多支持 4095 个 real server
• roundrobin 为默认调度算法

配置如下

验证：其效果应与静态算法static-rr 调度算法效果一致，三次web1，6次web2

4.2.2、leastconn

• leastconn加权的最少连接的动态

• 支持权重的运行时调整和慢启动，即 : 根据当前连接最少的后端服务器而非权重进行优先调度 ( 新客户端连接)

比较适合长连接的场景使用，比如： MySQL 等场景

配置如下

验证，可动态改变权重，但是调度与权重无关，所以对于短连接来说，效果应近似于两个主机权重皆为1的静态调度算法static-rr

没想到短链接leastconn的效果完全与两个主机权重皆为1的静态调度算法static-rr的效果一致

4.3、其他算法

其它算法即可作为静态算法，又可以通过选项成为动态算法

5、IP透传

具有负载均衡架构的怎么分析真实数据来源----IP透传

七层IP透传

haproxy配置

apache配置

日志参数自取地：%{X-Forwarded-For}i

apache效果

nginx配置

日志参数自取地：

• $proxy_add_x_forwarded_for： 包括客户端IP和中间经过的所有代理的IP
• $http_x_forwarded_For： 只有客户端IP

nginx效果

四层IP透传

• 注：apache不支持四层IP透传

haproxy配置

nginx配置

日志参数自取地："$proxy_protocol_addr"

nginx效果

6、错误日志定向

先将所有的后端服务器全部关闭

#第一个errorfile

#在haproxy配置文件中default模块中添加一行
errorfile 503 /etc/errorpage/503.http    #目录自己创建，错误日志自己创建自己写


#创建错误日志
cp /usr/share/haproxy/503.http /etc/errorpage
vim /etc/errorpage/503.http
#修改其内容为自己想修改的
HTTP/1.0 503 Service Unavailable
Cache-Control: no-cache
Connection: close
Content-Type: text/html;charset=UTF-8

<html><body><h1>503报文</h1>
没有灵魂的人就是行尸走肉
</body></html>

验证

#第二个errorloc
#在haproxy配置文件default模块中添加一行
errorloc 503 https://www.baidu.com

验证

7、四层tcp负载均衡数据库

环境需求

|---------|-----------------|---------|
| 主机 | IP | 角色 |
| haproxy | 192.168.220.100 | 负载均衡调度器 |
| server1 | 192.168.220.150 | db1 |
| server2 | 192.168.220.200 | db2 |

haproxy

vim /etc/haproxy/haproxy.cfg
#在最下方写入内容
listen dbservers
    bind *:3306        #监听任何主机的3306端口
    mode tcp           #使用四层负载均衡
    balance static-rr           #使用静态轮询算法
    server db1 192.168.220.150:3306 check inter 2 fall 2 rise 3 #服务器1 
    server db2 192.168.220.200:3306 check inter 2 fall 2 rise 3 #服务器2
#保存并退出
:x
#重启haproxy，重启之前需要将server1和server2配置好
systemctl restart haproxy

server1

#安装数据库
yum install mariadb-server -y
#修改配置文件以区分集群中数据库
vim /etc/my.cnf.d/mariadb-server.cnf
#在[mysqld]下增加一行内容
server-id=1
#保存并退出
:x
#启动数据库
systemctl enable --now mariadb

server2

#安装数据库
yum install mariadb-server -y
#修改配置文件以区分集群中数据库
vim /etc/my.cnf.d/mariadb-server.cnf
#在[mysqld]下增加一行内容
server-id=2
#保存并退出
:x
#启动数据库
systemctl enable --now mariadb

最后在windows上验证数据库负载均衡是否成功 ，效果如下

写在最后

慢启动

慢启动是指在服务器刚刚启动上不会把他所应该承担的访问压力全部给它，而是先给一部分，当没 问题后在给一部分