【LVS】防火墙mark标记解决调度问题

实验环境是在之前部署DR模式集群的基础上做的，参考如下

部署DR模式集群

以http和https为例，当我们在webserver中同时开放80和443端口，那么默认控制是分开轮询的，就会出现了一个轮询错乱的问题：

当第一次访问80被轮询到webserver1后下一次访问443仍然可能会被轮询到webserver1上。

一、问题呈现：

1、在webserver1和webserver2安装mod_ssl并重启

yum install mod_ssl -y

systemctl restart httpd

2、在lvs中设置调度，添加443端口，设定策略

$root@lvs \~$ # ipvsadm -A -t 192.168.0.200:443 -s rr

$root@lvs \~$ # ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.10:443 -g

$root@lvs \~$ # ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.10:443 -g

添加后我们就有两组策略了：

测试问题如下：

要解决这个轮询调度问题，实现第一次访问webserver的80端口后，下一次访问到另一台webserver的443端口，就需要用到防火墙标记解决。

二、防火墙标记解决轮询调度问题

FWM:FireWall Mark MARK

target 可用于给特定的报文打标记,

--set-mark value

其中:value 可为0xffff格式，表示十六进制数字借助于防火墙标记来分类报文，而后基于标记定义集群服务:可将多个不同的应用使用同一个集群服务进行调度。

实现方法:

在Director主机打标记:

iptables -t mangle -A PREROUTING -d $vip -p$ proto -m multiport --dports $portl,$ port2,..-i MARK --set-mark NUMBER

在Director主机基于标记定义集群服务

ipvsadm -A -f NUMBER $options$

1、在lvs主机打标记

$root@lvs \~$ # iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 66

$root@lvs \~$ # iptables -t mangle -nL

Chain PREROUTING (policy ACCEPT)

target prot opt source destination

MARK tcp -- 0.0.0.0/0 192.168.0.200 multiport dports 80,443 MARK set 0x42

Chain INPUT (policy ACCEPT)

target prot opt source destination

Chain FORWARD (policy ACCEPT)

target prot opt source destination

Chain OUTPUT (policy ACCEPT)

target prot opt source destination

Chain POSTROUTING (policy ACCEPT)

target prot opt source destination

2、在lvs主机基于标记定义集群服务

$root@lvs \~$ # ipvsadm -A -f 66 -s rr

$root@lvs \~$ # ipvsadm -a -f 66 -r 192.168.0.10 -g

$root@lvs \~$ # ipvsadm -a -f 66 -r 192.168.0.20 -g

3、测试结果

三、lvs持久链接

在我们客户上网过程中有很多情况下需要和服务器进行交互，客户需要提交响应信息给服务器，如果单纯的进行调度会导致客户填写的表单丢失，为了解决这个问题我们可以用sh算法，但是sh算法比较简单粗暴，可能会导致调度失衡。

解决方案：

在进行调度时，不管用什么算法，只要相同源过来的数据包我们就把他的访问记录在内存中，也就是把这个源的主机调度到了那个RS上。

如果在短期（默认360S）内同源再来访问我仍然按照内存中记录的调度信息，把这个源的访问还调度到同一台RS上。

如果过了比较长的时间（默认最长时间360s）同源访问再次来访，那么就会被调度到其他的RS上

ipvsadm -AlE -tlulf service-address $-s scheduler$ $-p \[timeout$ ]默认360秒

在lvs调度器中设定

$root@lvs \~\]# ipvsadm -E -f 6666 -s rr -p \[3000$
$root@lvs \~$ # ipvsadm -LnC