一、常见的Web集群调度器

现在常见的Web集群调度器分为软件和硬件：

软件一般运用开源的LVS、Haproxy、 Nginx
LVS功用最好，可是树立相对复杂；Nginx 的upstream模块支撑群集功用，可是对群集节点健康查看功用不强，高并发功用没有Haproxy好。
硬件一般运用比较多的是F5、Array，也有很多人运用国内的一些产品，如梭子鱼、绿盟等
硬件的效果比软件好，愈加安稳，但管理成本高。

二、Haproxy 运用分析

LVS在企业运用中抗负载才干很强，但存在不足

LVS不支撑正则处理，不能完成动态别离
关于大型网站，LVS的实施装备复杂，保护成本相对较高

Haproxy是一款可供给高可用性、负载均衡、及依据TCP和HTTP运用的署理的软件

适用于负载大的Web站点
运转在硬件上可支撑数以万计的并发衔接的衔接恳求

三、HAProxy的特性

HAProxy是可供给高可用性、负载均衡以及依据TCP和HTTP运用的署理，是免费、快速而且牢靠的一种处理方案。HAProxy十分适用于并发天（并兴旺1w以上）web站点，这些站点一般又需求会话坚持或七层处理。HAProxy的运转形式使得它能够很简略安全的整合至当时的架构中，一起能够保护web服务器不被暴露到网络上。

HAProxy的首要特性有：

牢靠性和安稳性十分好，能够与硬件级的F5负载均衡设备相媲美；
最高能够一起保护40000-50000个并发衔接，单位时刻内处理的最大恳求数为20000个，最大处理才干可达10Git/s;
支撑多达8种负载均衡算法；
支撑Session会话坚持，Cookie的引导；
支撑通过获取指定的url来检测后端服务器的状况；
支撑虚机主机功用，从而完成web负载均衡愈加灵敏；
支撑衔接拒绝、全透明署理等独特的功用；
拥有强大的ACL支撑，用于拜访控制；
支撑TCP协议的负载均衡转发；（支撑7层署理、完成动态别离）
支撑客户端的keepalive功用，减少客户端与haproxy的多次三次握手导致资源浪费，让多个恳求在一个tcp衔接中完成

四、Haproxy调度算法

1、RR（Round Robin）

RR算法是最简略最常用的一种算法，即轮询调度。

了解举例：

有三个节点A、B、C
第一个用户拜访会被指使到节点A
第二个用户拜访会被指使到节点B
第三个用户拜访会被指使到节点C
第四个用户拜访持续指使到节点A，轮询分配拜访恳求完成负载均衡效果

2、static-rr

加权轮询，表明依据web服务器的权重来分配前端恳求。

为web服务器设置不同权重，哪台服务器装备好，权重就多一点。

相似于Nginx负载局哼算法的ip_hash。

3、LC（Least Connections)

最小衔接数算法，依据后端的节点衔接数大小动态分配前端恳求。

了解举例：

有三个节点A、B、C,各节点的衔接数别离为A:4、B:5、C:6
第一个用户衔接恳求，会被指使到A上，衔接数变为A:5、B:5、 C:6
第二个用户恳求会持续分配到A上，衔接数变为A:6、B:5、 C:6; 再有新的恳求会分配给B，每次将新的恳求指使给衔接数最小的客户端
由于实际状况下A、B、C的衔接数会动态开释，很难会呈现-样衔接数的状况
此算法相比较rr算法有很大改善，是现在用到比较多的一-种算法

4、SH (Source Hashing)

依据来源拜访调度算法，用于一些有Session会话记载在服务器端的场景，能够依据来源的IP、Cookie等做集群调度。

了解举例：

有三个节点A、B、C,第一个用户第一次拜访被指使到了A,第二个用户第一次拜访被指使到了B。
当第一个用户第二次拜访时会被持续指使到A,第二个用户第= _次拜访时依旧会被指使到B，只需负载均衡调度器不重启，第-个用户拜访都会被指使到A,第二个用户拜访都会被指使到B，完成集群的调度。
此调度算法好处是完成会话坚持，但某些IP拜访量十分大时会引|起负载不均衡，部分节点拜访量超大，影响业务运用。

5、uri

目的地址哈希，表明依据用户恳求的URI做hash，做cdn时需求运用。（cdn：内容分发网络，边缘网络缓存加快）

url_hash 便是依据虚拟主机称号后边的目录。

6、url_ param

表明依据恳求的URl参数’balance url_ param’ requires an URL parameter name

7、hdr (name)

表明依据HTTP恳求头来确定每一次HTTP恳求。

8、rdp-cookie (name)

表明依据cookie (name)来确定并哈希每一次TCP恳求。

五、haproxy供给了3种完成会话坚持的方法

（1）源地址hash

（2）设置cookie

（3）会话粘性表stick-table

六、LVS、Nginx、HAproxy的差异

LVS依据Linux操作体系内核完成软负载均衡，而HAProxy和Nginx是依据第三方运用完成的软负载均衡;
LVS是可完成4层的IP负载均衡技能，无法完成依据目录、URL的转发。而HAProxy 和Nginx都能够完成4层和7层技能，HAProxy可供给TCP和HTTP运用的负载均衡综合处理方案；
LVS由于作业在ISO模型的第四层，其状况监测功用单一，而HAProxy在状况监测方面功用更丰厚、强大，可支撑端口、URL、脚本等多种状况检测方。
HAProxy功用强大，单纯从效率上来讲HAProxy会比Nginx有更出色的负载均衡速度，在并发处理上也是优于Nginx的。但整体功用低于4层形式的LVS负载均衡；
Nginx首要用于web服务器或缓存服务器。Nginx的upstream模块尽管也支撑群集功用，可是对群集节点健康查看功用不强，功用没有Haproxy好。

七、运用Haproxy树立web群集

试验环境：

Haproxy负载均衡器：192.168.10.11/24

Nginx1：192.168.10.20/24

Nginx2：192.168.10.30/24

客户端：宿主机

1.关闭防火墙，将装置Haproxy所需软件包传到/opt目录下

systemctl stop firewalld
setenforce 0
haproxy-1.5.19.tar.gz

2、编译装置 Haproxy

yum install -y pcre-devel bzip2-devel gcc gcc-c++ make
tar zxvf haproxy-1.5.19.tar.gz
cd haproxy-1.5.19/
make TARGET=linux2628 ARCH=x86_64
make install

———————参数阐明—————————————————————————
TARGET=linux26 #内核版别，
#运用uname -r查看内核，如：2.6.18-371.el5，此时该参数用TARGET=linux26；kernel大于2.6.28的用TARGET=linux2628

ARCH=x86_64 #体系位数，64位体系

3、Haproxy服务器装备

mkdir /etc/haproxy
cp examples/haproxy.cfg /etc/haproxy/
cd /etc/haproxy/
vim haproxy.cfg
global
--4~5行--修改，装备日志记载，local0为日志设备，默许存放到体系日志
        log /dev/log   local0 info     
        log /dev/log   local0 notice
        #log loghost    local0 info
        maxconn 4096                    #最大衔接数，需考虑ulimit -n限制
--8行--注释，chroot运转途径，为该服务自设置的根目录，一般需将此行注释掉
        #chroot /usr/share/haproxy
        uid 99                          #用户UID
        gid 99                          #用户GID
        daemon                          #看护进程形式
defaults       
        log     global                  #界说日志为global装备中的日志界说
        mode    http                    #形式为http
        option  httplog                 #采用http日志格局记载日志
        option  dontlognull             #不记载健康查看日志信息
        retries 3                       #查看节点服务器失利次数，接连达到三次失利，则以为节点不可用
        redispatch                      #当服务器负载很高时，主动结束当时行列处理比较久的衔接
        maxconn 2000                   #最大衔接数，“defaults”中的值不能超过“global”段中的界说
        #contimeout 5000               #设置衔接超时时刻，默许单位是毫秒
        #clitimeout 50000               #设置客户端超时时刻，默许单位是毫秒
        #srvtimeout 50000              #设置服务器超时时刻，默许单位是毫秒
        timeout http-request 10s       #默许http恳求超时时刻
        timeout queue 1m               #默许行列超时时刻
        timeout connect 10s            #默许衔接超时时刻，新版别中代替contimeout，该参数向后兼容
        timeout client 1m             #默许客户端超时时刻，新版别中代替clitimeout，该参数向后兼容
        timeout server 1m             #默许服务器超时时刻，新版别中代替srvtimeout，该参数向后兼容
        timeout http-keep-alive 10s   #默许持久衔接超时时刻
        timeout check 10s             #设置心跳查看超时时刻
--删去下面一切listen项--，增加
listen  webcluster 0.0.0.0:80           #界说一个名为webcluster的运用
        option httpchk GET /test.html   #查看服务器的test.html文件
        balance roundrobin              #负载均衡调度算法运用轮询算法roundrobin
        server inst1 192.168.10.20:80 check inter 2000 fall 3      #界说在线节点
        server inst2 192.168.10.30:80 check inter 2000 fall 3
---------------------参数阐明---------------------------------------------------------------------------
balance roundrobin      #负载均衡调度算法
#轮询算法：roundrobin；最小衔接数算法：leastconn；来源拜访调度算法：source，相似于nginx的ip_hash
check inter 2000        #表明haproxy服务器和节点之间的一个心跳频率
fall 3                  #表明接连三次检测不到心跳频率则以为该节点失效
若节点装备后带有“backup”表明该节点仅仅个备份节点，只有主节点失效该节点才会上。不携带“backup”，表明为主节点，和其它主节点一起供给服务。

4、增加haproxy 体系服务

cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
chmod +x haproxy
chkconfig --add /etc/init.d/haproxy
ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
service haproxy start   或   /etc/init.d/haproxy start

5、节点服务器布置

systemctl stop firewalld
setenforce 0
yum install -y pcre-devel zlib-devel gcc gcc-c++ make
useradd -M -s /sbin/nologin nginx
cd /opt
tar zxvf nginx-1.12.2.tar.gz -C /opt/
cd nginx-1.12.2/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx && make && make install
make && make install
--192.168.10.20---
echo "this is zj web" > /usr/share/nginx/html/index.html
--192.168.10.30---
echo "this is zhou web" > /usr/share/nginx/html/index.html
ln -s /usr/share/nginx/sbin/nginx /usr/local/sbin/
nginx      #发动nginx 服
或许用yum装置
cat > /etc/yum.repos.d/nginx.repo << 'EOF'
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
EOF
yum install nginx -y

6、测验 Web群集

在客户端运用浏览器打开http://192.168.10.11/index.html，不断改写浏览器测验负载均衡效果

六、实例操作：Haproxy集群的构建

1、关闭防火墙，将装置Haproxy所需软件包传到/opt目录下

2、编译装置 Haproxy

3、Haproxy服务器装备

4、增加haproxy 体系服务

5、节点服务器布置

Nginx 服务器1：192.168.10.20（编译装置）

Nginx 服务器2：192.168.10.30（yum装置）

6、测验 Web群集

在客户端运用浏览器打开http://192.168.10.11/index.html，不断改写浏览器测验负载均衡效果

七、Haproxy集群的日志从头界说的操作步骤

默许haproxy的日志是输出到体系的syslog中，查看起来不是十分便利，为了更好的管理haproxy的日志，咱们在出产环境中一般单独界说出来。需求将haproxy的info及notice日志别离记载到不同的日志文件中

vim /etc/haproxy/haproxy.cfg
global
    log /dev/log local0 info
    log /dev/log local0 notice
service haproxy restart
#需求修改rsyslog装备，为了便于管理。将haproxy相关的装备独立界说到haproxy.conf，并放到/etc/rsyslog.d/下，rsyslog发动时会主动加载此目录下的一切装备文件。
vim /etc/rsyslog.d/haproxy.conf
if ($programname == 'haproxy' and $syslogseverity-text == 'info')
then -/var/log/haproxy/haproxy-info.log
&~
if ($programname == 'haproxy' and $syslogseverity-text == 'notice')
then -/var/log/haproxy/haproxy-notice.log
&~
#阐明：
这部分装备是将haproxy的info日志记载到/var/log/haproxy/haproxy-info.log下，将notice日志记载到/var/log/haproxy/haproxy-notice.log下。“&~”表明当日志写入到日志文件后，rsyslog停止处理这个信息。
systemctl restart rsyslog.service
tail -f /var/log/haproxy/haproxy-info.log       #查看haproxy的拜访恳求日志信息

八、实例操作：Haproxy集群的日志从头界说

1、修改rsyslog装备

2、承认默许haproxy的日志、创立/var/log/haproxy/目录并重启服务

九、总结

1、对比集群调度东西Haproxy、LVS和Nginx的差异

差异：

LVS依据Linux操作体系内核完成软负载均衡，而HAProxy和Nginx是依据第三方运用完成的软负载均衡
LVS是可完成4层的IP负载均衡技能，但不支撑正则处理，无法完成依据目录、URL的转发。而HAProxy 和Nginx都能够完成4层和7层技能，HAProxy可供给TCP和HTTP运用的负载均衡综合处理方案

LVS功用最好，但树立相对复杂，成本较高。一般在100台左右web主机的集群中运用
nginx做负载均衡调度器，装备简略，管理便利，但并发量不高，且没有主动健康查看。功用没有Haproxy好。可用于并发量不高的场景

2、HTTP恳求的两种方法

方法：GET、POST方法

差异：GET把参数包含在URL中，POST通过request body传递参数

GET：产生一个TCP数据包
POST：产生两个TCP数据包

3、haproxy装备文件重要参数阐明：

全局装备： global效果：用于设界说全局参数，归于进程级的装备，一般与操作体系装备有关。

maxconn 4096 #进程最大衔接数，需考虑”ulimit -n”的限制，推荐运用10240
daemon #看护进程形式。能够运用非看护进程形式，在出产环境中主张运用看护进程形式
nbproc 1 #并发进程数，主张与当时服务器CPU核数相等或为其2倍

默许装备： defaults效果：装备默许参数，一般会被运用组件继承。

retries 3 #查看节点服务器失利次数，接连3次失利，则以为节点不可用
redispatch #当服务器负载很高时，主动结束当时行列处理比较久的衔接
maxconn 2000 #最大衔接数，”defaults”中的值不能超过“global”段中的界说
timeout http-request 10s #默许http恳求超时时刻。主张设置时刻为5~10s，增加http衔接开释的速度
timeout http-keep-alive 10s #默许长衔接超时时刻
timeout check 10s #设置心跳查看超时时刻

运用组件装备： listen效果：一般装备运用模块参数

option httpchk GET /index. html #查看服务器的index.html文件。发送http的GET恳求查看index.html文件，回来2xx、3xx表明正常；回来4xx/5xx表明反常，则阻隔该节点。
balance roundrobin #负载均衡调度算法运用轮询算法roundrobin
server inst1 192.168.160.40:80 check inter 2000 rise 2 fall 3 #界说在线节点
server inst2 192.168.160.50:80 check inter 2000 rise 2 fall 3 #界说在线节点

haproxy支撑的最大并发量=并发进程数每个进程最大衔接数，即”nbproc的值 maxconn的值”

4、日志音讯的等级：

级号	音讯	等级	阐明
0	EMERG	紧迫	会导致主机体系不可用的状况
1	ALERT	正告	有必要马上采纳办法处理的问题
2	CRIT	严重	比较严重的状况
3	ERR	过错	运转呈现过错
4	WARNING	提示	可能会影响体系功用的事件
5	NOTICE	注意	不会影响体系但值得注意
6	INFO	信息	一般信息
7	DEBUG	调试	程序或体系调试信息等

5、HAProxy负载均衡战略十分多，常见的有如下8种

roundrobin∶表明简略的轮询
static-rr∶表明依据权重
leastconn∶ 表明最少衔接者先处理
source∶ 表明依据恳求的源IP，相似Nginx的IP hash机制
ri∶表明依据恳求的URI
rl_param∶表明依据HTTP恳求头来确定每一次HTrTP恳求
rdp-cookie （name）∶表明依据据cookie （name）来确定并哈希每一次TCP恳求

6、HAProxy简介

HAProxy是可供给高可用性、负载均衡以及依据TCP和HTTP运用的署理，是免费、快速而且牢靠的一种处理方案。HAProxy十分适用于并发大(并兴旺1w以上) web站点这些站点一般又需求会话坚持或七层处理。HAProxy的运转形式使得它能够很简略安全的整合至当时的架构中，一起能够保护web服务器不被暴露到网络上

7、四层署理和七层署理

四层是TCP层，运用IP+端口的方法。相似路由器，仅仅修改下IP地址，然后转发给后端服务器，TCP三次握手是直接和后端衔接的。只不过在后端机器上看到的都是与署理机的IP的established而已
7层署理则有必要要先和署理机三次握手后，才干得到7层（HTT层）的具体内容，然后再转发。意思便是署理机有必要要与client和后端的机器都要树立衔接。明显功用不行了，但胜在于七层，能写更多的转发规则

Haproxy搭建web群集

一、常见的Web集群调度器

二、Haproxy 运用分析

三、HAProxy的特性

HAProxy的首要特性有：

四、Haproxy调度算法

1、RR（Round Robin）

2、static-rr

3、LC（Least Connections)

4、SH (Source Hashing)

5、uri

6、url_ param

7、hdr (name)

8、rdp-cookie (name)

五、haproxy供给了3种完成会话坚持的方法

六、LVS、Nginx、HAproxy的差异

七、运用Haproxy树立web群集

1.关闭防火墙，将装置Haproxy所需软件包传到/opt目录下

2、编译装置 Haproxy

3、Haproxy服务器装备

4、增加haproxy 体系服务

5、节点服务器布置

6、测验 Web群集

六、实例操作：Haproxy集群的构建

1、关闭防火墙，将装置Haproxy所需软件包传到/opt目录下

2、编译装置 Haproxy

3、Haproxy服务器装备

4、增加haproxy 体系服务

5、节点服务器布置

6、测验 Web群集

七、Haproxy集群的日志从头界说的操作步骤

八、实例操作：Haproxy集群的日志从头界说

1、修改rsyslog装备

2、承认默许haproxy的日志、创立/var/log/haproxy/目录并重启服务

九、总结

1、对比集群调度东西Haproxy、LVS和Nginx的差异

2、HTTP恳求的两种方法

3、haproxy装备文件重要参数阐明：

4、日志音讯的等级：

5、HAProxy负载均衡战略十分多，常见的有如下8种

6、HAProxy简介

7、四层署理和七层署理

相关文章

CodeQL漏洞挖掘实战

WebView组件封装(三)——PkWebView的使用文档

程序员必备的几种常见排序算法和搜索算法总结

Android必备：ASM字节码操作

作者信息