theme: fancy highlight: arduino-light

1. 群集的意义

Cluster，集群、群集
由多台主机构成，但对外只表现为一个全体，只供给一个拜访进口(域名或IP地址)，相当于一台大型核算机。

问题：

互联网运用中，随着站点对硬件功能、呼应速度、服务安稳性、数据可靠性等要求越来越高，单台服务器现已无法满足负载均衡及高可用的要求。

解决方法：

运用价格贵重的小型机、大型机。（纵向扩容）
运用多台相对廉价的普通服务器构建服务群集。（横向扩容）经过整合多台服务器，运用LVS来到达服务器的高可用和负载均衡，并以同一个IP地址对外供给相同的服务
在企业中常用的一种群集技术——LVS（Linux Virtual Server，Linux虚拟服务器）

纵向扩展对服务器的CPU 内存硬盘等硬件进行升级或许扩容来完成功能上限会有瓶颈，成本贵重，收效比不高等问题

横向扩展经过增加服务器主机数量来应对高并发的场景

2. 群集分类

2.1 根据群集针对的方针差异，可以分三个类型

负载均衡群集
高可用群集
高功能运算群集

2.2 负载均衡群集（Load Balance Cluster）（LB）（阿里云SLB）

进步运用体系的呼应才能、尽可能处理更多的拜访恳求、削减推迟为方针，取得高并发、高负载（LB）的全体功能
LB的负载分配依赖于主节点的分流算法，将来自客户机的拜访恳求分管给多个服务器节点，然后缓解整个体系的负载压力，例如，“DNS轮询”“反向署理”等

2.3 高可用群集（High Availability Cluster）（HA）

进步运用体系的可靠性、尽可能地削减中止时刻为方针，保证服务的连续性，到达高可用(HA) 的容错作用。
HA的作业方法包含双工和主从两种形式，双工即一切节点同时在线；主从则只要主节点在线，但当呈现毛病时从节点能主动切换为主节点。例如，“毛病切换” 、“双机热备” 等。

2.3 高功能运算群集（High Performance Computer Cluster）（HPC）

以进步运用体系的CPU运算速度、扩展硬件资源和分析才能为方针，取得相当于大型、超级核算机的高功能运算（HPC）才能。
高功能依赖于”散布式运算”、 “并行核算”，经过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，完成只要大型、超级核算机才具有的核算才能。例如，’云核算”、 “网格核算”等。

不同类型的群集可以根据实际需求进行合并，如高可用的负载均衡群集。

3. 负载均衡群集

3.1 负载均衡群集架构

第一层，负载调度器(Load Balancer或Director) 负载均衡层

拜访整个群集体系的唯一进口，对外运用一切服务器共有的VIP地址，也称为群集 IP地址。通常会装备主、备两台调度器完成热备份，当主调度器失效今后可以平滑替换至备用调度器，保证高可用性。

第二层，服务器池(Server Pool) WEB运用层

群集所供给的运用服务、由服务器池承当，其中每个节点具有独立的RIP地址(真实IP)，只处理调度器分发过来的客户机恳求。当某个节点暂时失效时，负载调度器的容错机制会将其阻隔，等待过错扫除今后再从头归入服务器池。

第三层，同享存储(Share Storage) 保证多台服务器运用的是相同的资源

为服务器池中的一切节点供给安稳、共同的文件存取服务，保证整个群集的统一性同享存储可以运用NAS设备，或许供给NFS同享服务的专用服务器。

（因为节点服务器的资源都是由NAS或NFS供给，所以NAS或NFS需求做主备、或散布式，然后完成高可用。）

3.2 负载均衡群集的作业形式

负载均衡群集是目前企业用得最多的群集类型。

群集的负载调度技术有三种作业形式：

地址转化（NAT形式）
IP地道（IP-TUN）
直接路由（DR形式）

3.3 NAT形式（地址转化）

地址转化

Network Address Translation，简称NAT形式
类似于防火墙的私有网络结构，负载调度器作为一切服务器节点的网关，即作为客户机的拜访进口，也是各节点回应客户机的拜访出口。
服务器节点运用私有IP地址，与负载调度器坐落同一个物理网络，安全性要优于其他两种方法。
缺点：因为NAT的负载均衡器既作为用户的拜访恳求进口，也作为节点服务器呼应恳求的出口，承载两个方向的压力，调度器的功能会成为整个集群的瓶颈。

3.4 TUN形式（IP地道）

IP地道：

IP Tunnel ，简称TUN形式。
选用开放式的网络结构，负载调度器仅作为客户机的拜访进口，各节点经过各自的Internet衔接直接回应客户机，而不再经过负载调度器。承载的压力比NAT小。
服务器节点涣散在互联网中的不同方位，具有独立的公网IP地址，经过专用IP地道与负载调度器彼此通讯。
缺点：成本很高。
这种形式一般运用于特别场景，比方将节点服务器散布在全国各地，避免被物理攻击（如地震、战役等），做灾备。

3.5 DR形式（直接路由） 直接路由：

Direct Routing，简称DR形式。
选用半开放式的网络结构，与TUN形式的结构类似，负载调度器仅作为客户机的拜访进口，各节点经过各自的Internet衔接直接回应客户机，而不再经过负载调度器。承载的压力比NAT小。
但各节点并不是涣散在各地，而是与调度器坐落同一个物理网络。
负载调度器与各节点服务器经过本地网络衔接，不需求建立专用的IP地道。

群集类型 3类

负载均衡（LB）进步运用体系的呼应效率，处理更多的拜访恳求，削减推迟，进步并发和负载才能
高可用（HA）进步运用体系的可靠性，削减服务中止的时刻，保证服务的连续性
高功能运算（HPC）将多台主机的硬件核算资源整合到一起完成散布式运转，比方云核算

负载均衡群集的架构

负载调度器经过VIP经过用户的恳求，再经过调度算法确定要转发的节点服务器
服务器池中的节点服务器经过RIP接受调度器转发来的恳求，并处理恳求进行呼应
同享存储为各个节点服务器供给安稳，共同的文件存取服务，比方NAS+NFS，文件服务器+NFS，散布式对象存储等存储设备

LVS形式 3种

**NAT（地址转化） **

调度器作为一切节点服务器的网关，既做客户端的拜访进口，也做节点服务器呼应的拜访出口，也就意味着调度器将成为整个集群体系的瓶颈
优点：因为在转发过程中做了地址转发，关于节点服务器安全性较比其它形式好
调度器至少要有2张网卡，一个承载VIP用于接受客户端的恳求，另一个用于运用私有IP在同一局域网中衔接节点服务器彼此通讯

DR（直接路由）

调度器只负责接纳客户端的恳求，并根据调度算法转发给节点服务器，节点服务器在处理完恳求后是直接呼应回来给客户端，呼应的数据包不经过调度器
调度器和节点服务器运用私有IP在同一个局域网中与衔接节点服务器彼此通讯

YUN（IP地道）

结构与DR形式相类似，可是节点服务器涣散在互联网各个方位，都具有独立的公网IP，经过专用的IP地道与调度器彼此通讯

4. LVS虚拟服务器

Linux Virtual Server：

针对Linux内核开发的负载均衡
1998年5月，由我国的章文嵩博士创立
官方网站：www.linuxvirtualserver.org/
LVS实际上相当于根据IP地址的虚拟化运用，为根据IP地址和内容恳求分发的负载均衡提出来一种高效的解决方法

4.1 LVS相关术语

DS：Director Server。指的是前端负载均衡器。

RS：Real Server。节点服务器，后端实在的作业服务器。

VIP：向外部直接面向用户恳求，作为用户恳求的方针的IP地址。

DIP：Director Server IP，主要用于和内部主机通讯的IP地址。

RIP：Real Server IP，后端服务器的IP地址。

CIP：Client IP，拜访客户端的IP地址。

5. LVS的负载调度算法

5.1 固定调度算法：rr, wrr， dh，sh

rr：轮询算法（Round Robin）

将恳求依次分配给不同的RS节点，即RS节点中均摊分配。适合于RS一切节点处理功能挨近的状况。
将收到的拜访恳求装置次序轮番分配给群集指定各节点（实在服务器），均等地对待每一台服务器，而不论服务器实际的衔接数和体系负载。

wrr：加权轮询调度（Weighted Round Robin）

根据不同RS的权重值分配使命。权重值较高的RS将优先取得使命，并且分配到的衔接数将比权值低的RS更多。相同权值的RS得到相同数意图衔接数。
保证功能强的服务器承当更多的拜访流量。

dh：意图地址哈希调度（destination hashing）

以意图地址为关键字查找一个静态hash表来取得所需RS。

sh：源地址哈希调度（source hashing）

以源地址为关键字查找–个静态hash表来取得需求的RS。

5.2 动态调度算法： wlc，lc，1blc

wlc：加权最小衔接数调度（Weighted Least Connections）

假设各台RS的权值依次为Wi，当时tcp衔接数依次为Ti，依次取Ti/Wi为最小的RS作为下一个分配的RS。
在服务器节点的功能差异较大时，可以为实在服务器主动调整权重。
功能较高的节点将承当更大份额的活动衔接负载。

lc：最小衔接数调度（ Least Connections）

ipvs表存储了一切活动的衔接。LB会比较将衔接恳求发送到当时衔接最少的RS。
根据实在服务器已建立的衔接数进行分配，将收到的拜访恳求优先分配给衔接数最少的节点。

lblc：根据地址的最小衔接数调度(locality-based least-connection)

将来自同一个意图地址的恳求分配给同一-台RS，此时这台服务器是尚未满负荷的。不然就将这个恳求分配给衔接数最小的RS，并以它作为下一次分配的首先考虑。

6 ipvsadm东西选项

选项	意义
-A	增加虚拟服务器
-D	删除整个虚拟服务器
-s	指定负载调度算法(轮询: rr、加权轮询: wrr、最少衔接: 1c、加权最少衔接: wlc)
-a	表明增加实在服务器(节点服务器)
-d	删除某一个节点
-t	指定VIP地址及TCP端口
-r	指定RIP地址及TCP端口
-m	表明运用NAT群集形式
-g	表明运用DR形式
-i	表明运用TUN形式
-w	设置权重(权重为0时表明暂停节点)
-p 60	表明坚持长衔接60秒;
-l	列表检查LVS虚拟服务器(默认为检查一切)
-n	以数字形式显现地址、端口等信息，常与“-l”选项组合运用。ipvsadm -1n

6.2 加载 ip_vs 通用模块

LVS现在已成为 Linux 内核的一部分，默认编译为 ip_vs 模块，必要时可以主动调动。

在CentOS 7 体系中，手动加载 ip_vs 模块的指令如下：

modprobe ip_vs   //手动加载 ip_vs 模块

cat /proc/net/ip_vs   //检查当时体系中ip_vs模块的版本信息
 IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn

加载 LVS 一切的负载调度算法

[root@linux7-5 ipvs]#pwd
/usr/lib/modules/3.10.0-693.el7.x86_64/kernel/net/netfilter/ipvs
[root@linux7-5 ipvs]#ls
ip_vs_dh.ko.xz    ip_vs_lblcr.ko.xz   ip_vs_rr.ko.xz   ip_vs_wrr.ko.xz
ip_vs_ftp.ko.xz   ip_vs_lc.ko.xz      ip_vs_sed.ko.xz
ip_vs.ko.xz       ip_vs_nq.ko.xz      ip_vs_sh.ko.xz
ip_vs_lblc.ko.xz  ip_vs_pe_sip.ko.xz  ip_vs_wlc.ko.xz
过滤一切调度算法的称号
[root@linux7-5 ipvs]#ls | grep -o "^[^.]*"
ip_vs_dh
ip_vs_ftp
ip_vs
ip_vs_lblc
ip_vs_lblcr
ip_vs_lc
ip_vs_nq
ip_vs_pe_sip
ip_vs_rr
ip_vs_sed
ip_vs_sh
ip_vs_wlc
ip_vs_wrr
加载一切调度算法
for i in $(ls /usr/lib/modules/$(uname -r)l/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modF filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

NAT形式 LVS负载均衡群集布置

布置NFS同享存储服务

封闭防火墙，SELinux
[root@localhost ~]#systemctl disable --now firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@localhost ~]#setenforce 0
装置nfs-utils,rpcbind软件
[root@localhost ~]#yum install rpcbind nfs-utlis -y
新建目录，并创立站点文件
[root@localhost ~]#cd /opt
[root@localhost opt]#mkdir nfs
[root@localhost opt]#cd nfs/
[root@localhost nfs]#mkdir w l
[root@localhost nfs]#echo 'w is web 1!' > w/index.html
[root@localhost nfs]#echo ' is web 1!' > l/index.html
修正同享装备文件，设置同享战略
[root@localhost nfs]#vim /etc/exports
/opt/nfs/w 192.168.85.0/24
/opt/nfs/l 192.168.85.0/24
发动服务，并检查本机的NFS同享目录
[root@localhost ~]#systemctl start rpcbind
[root@localhost ~]#systemctl start nfs
[root@localhost nfs]#showmount -e   //检查本机发布的NFS同享目录
Export list for localhost.localdomain:
/opt/nfs/l 192.168.85.0/24
/opt/nfs/w 192.168.85.0/24

布置两台web节点服务器

第一台web

封闭防火墙selinux
[root@linux7-6 ~]# systemctl stop firewalld 
[root@linux7-6 ~]# setenforce 0
装置httpd 
[root@linux7-6 ~]# yum install -y httpd
检查NFS同享目录信息
[root@linux7-6 ~]#showmount -e 192.168.85.50
Export list for 192.168.85.50:
/opt/nfs/l 192.168.85.0/24
/opt/nfs/w 192.168.85.0/24
挂载站点  
[root@linux7-6 ~]#mount 192.168.85.50:/opt/nfs/w /var/www/html/
[root@linux7-6 ~]#df
192.168.85.50:/opt/nfs/w 73364480 3735040 69629440    6% /var/www/html
[root@linux7-6 ~]#cat /var/www/html/index.html
w is web 1!
永久挂载
vim /etc/fstab
192.168.85.50:/opt/nfs/wa   /var/www/html/  nfs   defaults,_netdev  0  0
指定网关，网关地址设置为负载调度器的内网地址
[root@linux7-6 ~]#vim /etc/sysconfig/network-scripts/ifcfg-ens33
GATEWAY=192.168.85.80 //网关地址写负载调度器的内网网卡地址
#DNS1=8.8.8.8
重启网络服务，敞开httpd服务
[root@linux7-6 ~]# systemctl restart network
[root@linux7-6 ~]# systemctl start httpd

第二台web服务器

封闭防火墙
[root@comeo ~]#systemctl stop firewalld.service
[root@comeo ~]#setenforce 0
修正网卡，网关设置为负载调度服务的内网地址
[root@comeo ~]#vim /etc/sysconfig/network-scripts/ifcfg-ens33
GATEWAY=192.168.85.80
#DNS1=8.8.8.8
[root@comeo ~]#systemctl restart network
装置httpd
[root@comeo ~]#yum -y install httpd
检查nfs同享信息
[root@comeo ~]#showmount -e 192.168.85.50
Export list for 192.168.85.50:
/opt/nfs/l 192.168.85.0/24
/opt/nfs/w 192.168.85.0/24
挂载NFS同享目录
[root@comeo ~]#mount 192.168.85.50:/opt/nfs/l /var/www/html/
[root@comeo ~]#df
192.168.85.50:/opt/nfs/l 73364480 3740160 69624320    6% /var/www/html
[root@comeo ~]#cat /var/www/html/index.html
l is web 1!
永久挂载
vim /etc/fstab
192.168.85.50:/opt/nfs/la  /var/www/html   nfs   
defaults,_netdev  0  0
mount -a
重启httpd服务
[root@linux7-7 ~]#systemctl start httpd

布置LVS负载调度服务器

增加网卡
[root@linux7-8 ~]#cd /etc/sysconfig/network-scripts/
[root@linux7-8 network-scripts]#vim ifcfg-ens33
#GATEWAY=192.168.85.2   //将网卡和DNS服务器地址注释掉 
#DNS1=8.8.8.8
[root@linux7-8 network-scripts]#cp ifcfg-ens33 ifcfg-ens36
[root@linux7-8 network-scripts]#vim ifcfg-ens36
IPADDR=12.0.0.12   //设置IP地址 
NETMASK=255.255.255.0 
#GATEWAY=192.168.85.2 
#DNS1=8.8.8.8
[root@linux7-8 network-scripts]#systemctl restart network
敞开路由转发功能
[root@linux7-8 network-scripts]#vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
[root@linux7-8 network-scripts]#sysctl -p
net.ipv4.ip_forward = 1
装备SNAT战略（用作内网衔接外网）
[root@linux7-8 network-scripts]#iptables -F -t nat
[root@linux7-8 network-scripts]#iptables -t nat  -A POSTROUTING -s 192.168.-o ens36 -j SNAT --to 12.0.0.12
[root@linux7-8 network-scripts]#iptables -nL POSTROUTING -t nat
Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
SNAT       all  --  192.168.85.0/24      0.0.0.0/0            to:12.0.0.12
加载LVS内核模块
[root@linux7-8 network-scripts]#modprobe ip_vs
[root@linux7-8 network-scripts]#cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn
加载LVS一切调度算法
[root@linux7-8 network-scripts]#for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done
ip_vs_dh
ip_vs_ftp
ip_vs
ip_vs_lblc
ip_vs_lblcr
ip_vs_lc
ip_vs_nq
ip_vs_pe_sip
ip_vs_rr
ip_vs_sed
ip_vs_sh
ip_vs_wlc
ip_vs_wrr
装置ipvsadm管理东西，敞开服务
[root@linux7-8 ~]#mount /dev/sr0 /mnt
[root@linux7-8 ~]#yum -y install ipvsadm.x86_64
敞开服务前必须保存负载分配战略，生成/etc/sysconfig/ipvsadm文件。假如该文件不存在，服务无法发动。
[root@linux7-8 ~]#ipvsadm-save >/etc/sysconfig//ipvsadm
[root@linux7-8 ~]#systemctl start ipvsadm.service
装备负载分配战略（NAT形式只需求在负载器上装备，节点服务器不需求特别装备）
[root@linux7-8 ~]#ipvsadm -C   //清空原有规矩
指定指定VIP地址及TCP端口，-s rr 指定负载调度战略为轮询
[root@linux7-8 ~]#ipvsadm -A -t 12.0.0.12:80 -s rr
先指定虚拟服务器再增加实在服务器地址，-r指定实在服务器地址，-m指定nat形式。-w指定权重值，权重为1时可省略不写
[root@linux7-8 ~]#ipvsadm -a -t 12.0.0.12:80 -r 192.168.85.60:80 -m
[root@linux7-8 ~]#ipvsadm -a -t 12.0.0.12:80 -r 192.168.85.70:80 -m
[root@linux7-8 ~]#ipvsadm  //检查战略
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  linux7-8:http rr
  -> 192.168.85.60:http           Masq    1      0          0
  -> 192.168.85.70:http           Masq    1      0          0
[root@linux7-8 ~]#ipvsadm-save >/etc/sysconfig/ipvsadm  //保存负载分配战略
[root@linux7-8 ~]#ipvsadm -ln     //以数字形式检查战略，Masq表明NAT形式
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  12.0.0.12:80 rr
  -> 192.168.85.60:80             Masq    1      0          0
  -> 192.168.85.70:80             Masq    1      0          0

LVS负载均衡群集