Haproxy搭建 Web 群集

haproxy 服务器部署

服务器名 IP
Haproxy 服务器 192.168.110.30
Nginx 服务器1 192.168.110.50
Nginx 服务器2 192.168.110.60
关闭防火墙,将安装 Haproxy 所需软件包传到 /opt 目录下
复制代码
#所有服务器关闭防火墙和核心防护
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

#Haproxy 服务器下载Haproxy软件包,yum安装可省略
wget https://www.haproxy.org//download/1.7/src/haproxy-1.7.2.tar.gz

#Nginx 服务器,上传nginx软件包,yum安装可省略
安装 Haproxy
方法1:手动安装
1.安装服务
复制代码
#下载依赖环境
yum install -y pcre-devel bzip2-devel gcc gcc-c++ make
#解压软件包
cd /opt/
tar xf haproxy-1.7.2.tar.gz
#编译安装
cd haproxy-1.7.2/
make TARGET=linux2628 ARCH=x86_64
make install PREFIX=/usr/local/haproxy
#注:TARGET=linux26 内核版本 使用uname -r查看内核,如:2.6.18-371.el5,此时该参数用TARGET=linux26;kernel大于2.6.28的用TARGET=linux2628
2.修改 Haproxy 服务器配置
复制代码
#创建管理用户
useradd -M -s /sbin/nologin haproxy

#编辑 Haproxy 配置文件
mkdir -p /etc/haproxy
cd /etc/haproxy
vim haproxy.cfg

global		#全局配置,主要用于定义全局参数,属于进程级的配置,通常和操作系统配置有关
    #将info(及以上)的日志发送到rsyslog的local0接口,将warning(及以上)的日志发送到rsyslog的local1接口
    log 127.0.0.1 local0 info
    log 127.0.0.1 local1 warning	
	
    maxconn 30000			               #最大连接数,HAProxy 要求系统的 ulimit -n 参数大于 maxconn*2+18

    #chroot /var/lib/haproxy               #修改haproxy工作目录至指定目录,一般需将此行注释掉
    pidfile     /var/run/haproxy.pid       #指定保存HAProxy进程号的文件
    user haproxy                           #以指定的用户名身份运行haproxy进程
    group haproxy                          #以指定的组名运行haproxy,以免因权限问题带来风险
    daemon					               #让haproxy以守护进程的方式工作于后台
    spread-checks 2                        #在haproxy后端有着众多服务器的场景中,在精确的时间间隔后统一对众服务器进行健康状况检查可能会带来意外问题;此选项用于将其检查的时间间隔长度上增加或减小一定的随机时长;默认为0,官方建议设置为2到5之间。

defaults   	                               #配置默认参数,这些参数可以被用到listen,frontend,backend组件     
    log     global			               #所有前端都默认使用global中的日志配置
    mode    http			               #模式为http(7层代理http,4层代理tcp)
    option  http-keep-alive                #使用keepAlive连接,后端为静态建议使用http-keep-alive,后端为动态应用程序建议使用http-server-close
    option  forwardfor                     #记录客户端IP在X-Forwarded-For头域中,haproxy将在发往后端的请求中加上"X-Forwarded-For"首部字段
    option  httplog			               #开启httplog,在日志中记录http请求、session信息等。http模式时开启httplog,tcp模式时开启tcplog
    option  dontlognull		               #不在日志中记录空连接
    option  redispatch		               #当某后端down掉使得haproxy无法转发携带cookie的请求到该后端时,将其转发到别的后端上
    option  abortonclose                   #当服务器负载很高的时候,自动结束掉当前队列处理比较久的链接
    maxconn 20000	                       #最大连接数,"defaults"中的值不能超过"global"段中的定义
    retries 3                              #定义连接后端服务器的失败重连次数,连接失败次数超过此值后会将对应后端服务器标记为不可用
    #contimeout 5000                       #设置连接超时时间,默认单位是毫秒
    #clitimeout 50000                      #设置客户端超时时间,默认单位是毫秒
    #srvtimeout 50000                      #设置服务器超时时间,默认单位是毫秒
    timeout http-request 2s 	           #默认http请求超时时间,此为等待客户端发送完整请求的最大时长,用于避免类DoS攻击。haproxy总是要求一次请求或响应全部发送完成后才会处理、转发
    timeout queue 3s   	                   #默认客户端请求在队列中的最大时长
    timeout connect 1s		               #默认haproxy和服务端建立连接的最大时长,新版本中替代contimeout,该参数向后兼容
    timeout client 10s		               #默认和客户端保持空闲连接的超时时长,在高并发下可稍微短一点,可设置为10秒以尽快释放连接,新版本中替代clitimeout
    timeout server 2s		               #默认和服务端保持空闲连接的超时时长,局域网内建立连接很快,所以尽量设置短一些,特别是高并发时,新版本中替代srvtimeout
    timeout http-keep-alive 10s	           #默认和客户端保持长连接的最大时长。优先级高于timeout http-request 也高于timeout client
    timeout check 2s		               #和后端服务器成功建立连接后到最终完成检查的最大时长(不包括建立连接的时间,只是读取到检查结果的时长)

frontend http-in                           #定义前端域
    bind *:80                              #设置监听地址和端口,指定为*或0.0.0.0时,将监听当前系统的所有IPv4地址
    maxconn 18000                          #定义此端口上的maxconn
    default_backend nginx_server           #定义后端名

backend nginx_server
    balance            roundrobin          #负载均衡调度算法
    option httpchk     GET /test.html      #健康检查 
    server ms1.inst1 192.168.110.50:80 maxconn 5000 check
    server ms1.inst2 192.168.110.60:80 maxconn 5000 check

listen stats             #定义监控页面
    bind *:1080                   #绑定端口1080
    stats enable                  #启用统计报告监控
    stats refresh 30s             #每30秒更新监控数据
    stats uri /stats              #访问监控页面的uri
    stats realm HAProxy\ Stats    #监控页面的认证提示
    stats auth admin:admin        #监控页面的用户名和密码
----------------------------------------------------------------------------------------------------------
#frontend域和backend域中所有的配置都可以配置在listen域下
listen  webcluster
        bind *:80
        option httpchk GET /test.html
        balance roundrobin
        server inst1 192.168.110.50:80 check inter 2000 rise 2 fall 3
        server inst2 192.168.110.60:80 check inter 2000 rise 2 fall 3
----------------------------------------------------------------------------------------------------------
global		
    log 127.0.0.1 local0 info
    log 127.0.0.1 local1 warning	
	
    maxconn 30000			            

    #chroot /var/lib/haproxy            
    pidfile     /var/run/haproxy.pid    
    user haproxy            
    group haproxy           
    daemon					
    spread-checks 2         

defaults   	     
    log     global			
    mode    http			
    option  http-keep-alive 
    option  forwardfor      
    option  httplog			
    option  dontlognull		
    option  redispatch		
    option  abortonclose    
    maxconn 20000			
    retries 3               
    #contimeout 5000        
    #clitimeout 50000    
    #srvtimeout 50000      
    timeout http-request 2s
    timeout queue 3s
    timeout connect 1s
    timeout client 10s		
    timeout server 2s		
    timeout http-keep-alive 10s		
    timeout check 2s		

frontend http-in
    bind *:80
    maxconn 18000
    default_backend nginx_server

backend nginx_server
    balance            roundrobin
    option httpchk     GET /test.html
    server ms1.inst1 192.168.110.50:80 maxconn 5000 check
    server ms1.inst2 192.168.110.60:80 maxconn 5000 check

listen stats    
    bind *:1080             
    stats enable               
    stats refresh 30s             
    stats uri /stats              
    stats realm HAProxy\ Stats    
    stats auth admin:admin   
    ----------------------------------------------------------------------------------------------------------
#Haproxy的负载均衡调度算法
roundrobin:轮询算法;leastconn:最小连接数算法;source:来源访问调度算法,类似于nginx的ip_hash
3.添加haproxy 系统服务
复制代码
vim /etc/init.d/haproxy

#!/bin/bash
#chkconfig: 2345 90 30
#description: Haproxy Service Control Script

PROGDIR=/usr/local/haproxy
PROGNAME=haproxy
DAEMON=$PROGDIR/sbin/$PROGNAME
CONFIG=/etc/haproxy/$PROGNAME.cfg
PIDFILE=/var/run/$PROGNAME.pid
DESC="HAProxy daemon"
SCRIPTNAME=/etc/init.d/$PROGNAME

# Gracefully exit if the package has been removed.
test -x $DAEMON || exit 0

start()
{
    echo -e "Starting $DESC: $PROGNAME\n"
    $DAEMON -f $CONFIG
    echo "......"
}

stop()
{
    echo -e "Stopping $DESC: $PROGNAME\n"
    haproxy_pid="$(cat $PIDFILE)"
    kill $haproxy_pid
    echo "......"
}

restart()
{
    echo -e "Restarting $DESC: $PROGNAME\n"
    $DAEMON -f $CONFIG -p $PIDFILE -sf $(cat $PIDFILE)
    echo "......"
}

case "$1" in
start)
   start
   ;;
   
stop)
   stop
   ;;
   
restart)
    restart
    ;;
	
*)
    echo "Usage: $SCRIPTNAME {start|stop|restart}"
    exit 1
    ;;
esac

exit 0

#加权
cd /etc/init.d/
chmod +x haproxy
chkconfig --add /etc/init.d/haproxy

#系统识别haproxy命令
ln -s /usr/local/haproxy/sbin/haproxy /usr/sbin/haproxy

#检查配置文件,启动haproxy服务
cd /etc/haproxy
haproxy -c -f haproxy.cfg
service haproxy start
方法2:yum安装

yum安装 haproxy 相对简单,安装后只需要修改/etc/haproxy下的配置文件haproxy.cfg,yum安装无需添加系统管理可以使用systemctl进行管理。

复制代码
yum install -y haproxy
cd /etc/haproxy
mv haproxy.cfg haproxy.cfg.bak
vim haproxy.cfg

systemctl start haproxy
配置 web集群

nginx安装可以使用yum安装,也可以手动安装。

手动安装
复制代码
#下载依赖环境
yum install -y pcre-devel zlib-devel gcc gcc-c++ make

#创建管理用户
useradd -M -s /sbin/nologin nginx

#解压
tar xf  nginx-1.27.1.tar.gz

#配置
cd nginx-1.27.1/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx && make && make install

#创建健康检测文件
#192.168.80.100
echo "this is kgc web" > /usr/local/nginx/html/test.html
#192.168.80.101
echo "this is benet web" > /usr/local/nginx/html/test.html

#让系统识别nginx的命令
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

#启动nginx 服务
nginx
yum 安装
复制代码
#安装
yum install -y nginx

#创建健康检测文件
#192.168.80.100
echo "this is kgc web" > /usr/share/nginx//test.html
#192.168.80.101
echo "this is benet web" > /usr/share/nginx//test.html

#启动nginx 服务
nginx
测试 Web群集

客户端网页访问 http://192.168.110.30/test.html ,不断刷新浏览器测试负载均衡效果。

复制代码
curl 192.168.110.30/test.html

访问一下监控页面 http://192.168.110.30:1080/stats 并提示输入用户名/密码 admin/admin

日志定义

haproxy 的日志默认是输出到系统的 syslog 中,查看起来不是非常方便,为了更好的管理 haproxy 的日志,我们在生产环境中一般单独定义出来。这就需要将 haproxy 的 info 及 notice 日志分别记录到不同的日志文件中。

有两种实现方法。

方法1
复制代码
vim /etc/haproxy/haproxy.cfg
# global 域中
	log /dev/log local0 info
	log /dev/log local0 notice
# defaults 域中
    log global
    
#修改rsyslog配置
#为了便于管理,/etc/rsyslog.d/下,将 haproxy 相关的配置独立定义到haproxy.conf中,
cd /etc/rsyslog.d
vi haproxy.conf
if ($programname == 'haproxy' and $syslogseverity-text == 'info')
then -/var/log/haproxy/haproxy-info.log
&~
if ($programname == 'haproxy' and $syslogseverity-text == 'notice')
then -/var/log/haproxy/haproxy-notice.log
&~
#说明:这部分配置是将haproxy的info日志记录到/var/log/haproxy/haproxy-info.log下,将notice日志记录到/var/log/haproxy/haproxy-notice.log下。"&~"表示当日志写入到日志文件后,rsyslog停止处理这个信息。

#重启 haproxy 和 rsyslog
service rsyslog restart
service haproxy restart

#查看haproxy的访问请求日志信息
tail -f /var/log/haproxy/haproxy-info.log
方法2
复制代码
vim /etc/haproxy/haproxy.cfg
# global 域中
    log 127.0.0.1 local0 info
    log 127.0.0.1 local1 warning
# defaults 域中
    log global    
#注:info日志会打印HAProxy 的每一条请求处理,会占用大量的磁盘空间,在生产环境中,将日志级别调整为notice

#为 rsyslog 添加 haproxy 日志的配置
mkdir /var/log/haproxy

vim /etc/rsyslog.d/haproxy.conf
$ModLoad imudp
$UDPServerRun 514
$FileCreateMode 0644                               #日志文件的权限
$FileOwner haproxy                                 #日志文件的owner
local0.*     /var/log/haproxy/haproxy.log          #local0接口对应的日志输出文件
local1.*     /var/log/haproxy/haproxy_warn.log     #local1接口对应的日志输出文件

#修改 rsyslog 的启动参数
vim /etc/sysconfig/rsyslog

SYSLOGD_OPTIONS="-c 2 -r -m 0"

#重启 rsyslog 和 HAProxy
service rsyslog restart
service haproxy restart

#查看haproxy的访问请求日志信息
tail -f /var/log/haproxy/haproxy.log
haproxy 实现动静分离
复制代码
#修改 haproxy 的配置
cd /etc/haproxy
vim haproxy.cfg

#修改前端域的定义
acl url_static   path_end  -i  .jpg .jpeg .gif .png .html .htm .txt

use_backend nginx_server if url_static
default_backend tomcat_server

#定义后端域 tomcat_server
backend tomcat_server
    balance roundrobin
    option http-server-close
    cookie HA_STICKY_dy insert indirect nocache    
    server appsrv1 192.168.110.70:8081 cookie appsrv1 maxconn 5000 check
    server appsrv2 192.168.110.70:8082 cookie appsrv2 maxconn 5000 check

#检查配置文件
haproxy -c -f haproxy.cfg

#重启服务
systemctl restart haproxy.service

配置 tomcat 服务器(ip:192.168.110.70)

参考 https://blog.csdn.net/m0_67475830/article/details/142554506?fromshare=blogdetail\&sharetype=blogdetail\&sharerId=142554506\&sharerefer=PC\&sharesource=m0_67475830\&sharefrom=from_link

配置多实例

tomcat1:端口8006,8010,8081

tomcat2:端口8007,8011,8082

配置动态页面测试网页

复制代码
echo '动态页面1' > /usr/local/tomcat/tomcat2/webapps/ROOT/test.jsp
echo '动态页面2' > /usr/local/tomcat/tomcat2/webapps/ROOT/test.jsp

测试动静分离

复制代码
curl 192.168.110.30/test.jsp
curl 192.168.110.30/test.html
HAProxy 实现会话保持

Haproxy有3种会话保持方式。

方法一:源地址hash;
复制代码
#修改调度算法
vim haproxy.cfg
     balance  source

haproxy -c -f haproxy.cfg
systemctl restart haproxy

测试会话保持,网页访问,刷新网页,保持不变。

方法二:设置cookie
复制代码
#修改haproxy配置
vim haproxy.cfg
backend dynamic_group
    balance roundrobin
    option http-server-close
    cookie HA_STICKY_dy insert indirect nocache
    server appsrv1 192.168.110.70:8081 cookie appsrv1 maxconn 5000 check
    server appsrv2 192.168.110.70:8082 cookie appsrv2 maxconn 5000 check

haproxy -c -f haproxy.cfg
systemctl restart haproxy

测试会话保持,网页访问,刷新网页,保持不变。

方法三:会话粘性表
复制代码
#修改haproxy配置
vim haproxy.cfg

backend nginx_server
    balance            roundrobin
    option httpchk     GET /test.html
    server ms1.inst1 192.168.110.50:80 maxconn 5000 check
    server ms1.inst2 192.168.110.60:80 maxconn 5000 check
    stick-table type ip size 5k expire 1m
    stick on src

haproxy -c -f haproxy.cfg
systemctl restart haproxy

测试会话保持,网页访问,刷新网页,保持不变。

相关推荐
漫谈网络7 分钟前
基于 Netmiko 的网络设备自动化操作
运维·自动化·netdevops·netmiko
爱吃的强哥10 分钟前
vue3 使用 vite 管理多个项目,实现各子项目独立运行,独立打包
前端·javascript·vue.js
谈不譚网安19 分钟前
CSRF请求伪造
前端·网络安全·csrf
TT模板24 分钟前
苹果cmsV10主题 MXonePro二开优化修复开源版
前端·html5
拖孩25 分钟前
【Nova UI】十一、组件库中 Icon 组件的测试、使用与全局注册全攻略
前端·javascript·vue.js·ui·sass
去伪存真31 分钟前
不用动脑,手把手跟着我做,就能掌握Gitlab+Jenkins提交代码自动构部署
前端·jenkins
꧁坚持很酷꧂33 分钟前
Linux Ubuntu18.04下安装Qt Craeator 5.12.9(图文详解)
linux·运维·qt
凉、介1 小时前
PCI 总线学习笔记(五)
android·linux·笔记·学习·pcie·pci
天天扭码1 小时前
深入解析 JavaScript 中的每一类函数:从语法到对比,全面掌握适用场景
前端·javascript·面试
电鱼智能的电小鱼1 小时前
EFISH-SBC-RK3588无人机地面基准站项目
linux·网络·嵌入式硬件·机器人·无人机·边缘计算