一、LVS-DR集群介绍

LVS-DR（Linux Virtual Server Director Server）作业形式，是出产环境中最常用的一 种作业形式。

1、LVS-DR 作业原理

LVS-DR 形式，Director Server 作为群集的拜访入口，不作为网关运用，节点 Director Server 与 Real Server 需求在同一个网络中，回来给客户端的数据不需求经过 Director Server。为了呼应对整个群集的拜访，Director Server 与 Real Server 都需求装备 VIP 地址。

2、 数据包流向分析

为便利进行原理分析，将Client与群集机器放在同一网络中，数据包流经的路线为 1-2-3-4 四步

第一步：客户端发送恳求到 Director Server (负载均衡器），恳求的数据报文抵达内核空间。

此时恳求的数据报文
源 IP —— 客户端的 IP（CIP）
目标 IP —— VIP
源 MAC —— 客户端的 MAC
意图 MAC —— Director Server 的 MAC

第二步：内核空间判别数据包的目标 IP 是本机 VIP，此时 IPVS（IP 虚拟服务器）比对数据包恳求的服务是否是集群服务，是集群服务就从头封装数据包。然后将数据包发送给依据 负载均衡算法挑选的 Real Server。（Director Server 和 Real Server 在同一个网络中，数据经过二层数据链路层来传输。）

此时恳求的数据报文
源 IP —— 客户端的 IP
目标 IP —— VIP
源 MAC —— Director Server 的 MAC
意图 MAC —— Real Server 的 MAC

第三步：抵达 Real Server 的恳求报文的 MAC 地址是本身的 MAC 地址，就接纳此报文。数据包从头封装报文，将呼应报文经过 lo 接口传送给物理网卡然后向外宣布。

此时恳求的数据报文
源 IP —— VIP
目标 IP —— 客户端的 IP（CIP）
源 MAC —— Real Server 的 MAC
意图 MAC —— 客户端的 MAC

第四步：经过交换机和路由器将呼应报文传送到客户端。客户端收到回复报文，得到想要的服务，可是不会知道是哪台服务器处理的。

3、LVS-DR 形式的特色

Director Server 和 Real Server 必须在同一个物理网络中。

Real Server 能够运用私有地址，也能够运用公网地址。假如运用公网地址，能够经过互联网对RIP进行直接拜访。

所有的恳求报文经由 Director Server，但回复呼应报文不能经过 Director Server。

Real Server 的网关不允许指向 Director Server IP，即不允许数据包经过 Director S erver。

Real Server 上的 lo 接口装备 VIP 的 IP 地址。

4、LVS-DR中的ARP问题

4.1 问题一

在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要装备相同的VIP地址，在局域网中具有相同的IP地址。势必会造成各服务器ARP通讯的紊乱

当ARP播送发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接纳到ARP播送

只要前端的负载均衡器进行呼应，其他节点服务器不应该呼应ARP播送

解决方法：

对节点服务器进行处理，使其不呼应针对VIP的ARP恳求

运用虚接口lo:0承载VIP地址

设置内核参数arp_ ignore=1: 体系只呼应意图IP为本地IP的ARP恳求

4.2问题二

问题阐明：RealServer回来报文（源IP是VIP）经路由器转发，从头封装报文时，需求先获取路由器的MAC地址，发送ARP恳求时，Linux默认运用IP包的源IP地址（即VIP）作为ARP恳求包中的源IP地址，而不运用发送接口的IP地址，路由器收到ARP恳求后，将更新ARP表项，原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址。

路由器依据ARP表项，会将新来的恳求报文转发给RealServer，导致Director的VIP失效

解决方法：

对节点服务器进行处理，设置内核参数arp_announce=2：体系不运用IP包的源地址来设置ARP恳求的源地址，而挑选发送接口的IP地址

二、构建LVS-DR集群的步骤

试验环境预备：

DR 服务器：192.168.10.11 Web 服务器1：192.168.10.20 Web 服务器2：192.168.10.30 NFS同享服务器：192.168.10.40 vip：192.168.10.12

1、装备负载调度器（192.168.10.11）

systemctl stop firewalld.service
setenforce 0
modprobe ip_vs
cat /proc/net/ip_vs
yum -y install ipvsadm

1.1 装备虚拟 IP 地址（VIP：192.168.10.12）

cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens33:0                #若地道形式，复制为ifcfg-tunl0
vim ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.10.12
NETMASK=255.255.255.255
ifup ens33:0
ifconfig ens33:0
route add -host 192.168.10.12 dev ens33:0

1.2 调整 proc 呼应参数

因为 LVS 负载调度器和各节点需求共用 VIP 地址，应该封闭Linux 内核的重定向参数呼应。
vim /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
sysctl -p

1.3 装备负载分配策略

ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
ipvsadm -C
ipvsadm -A -t 192.168.10.12 -s rr
ipvsadm -a -t 192.168.10.12:80 -r 192.168.10.20:80 -g            #若地道形式，-g替换为-i
ipvsadm -a -t 192.168.10.12:80 -r 192.168.10.30:80 -g
ipvsadm
ipvsadm -ln                 #查看节点状况，Route代表 DR形式

2.布置同享存储（NFS服务器：192.168.10.40）

systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
yum install nfs-utils rpcbind -y
systemctl start nfs.service
systemctl start rpcbind.service
systemctl enable nfs.service
systemctl enable rpcbind.service
mkdir /opt/ly /opt/weq
chmod 777 /opt/ly /opt/weq
echo 'this is xkq web!' > /opt/ly/index.html
echo 'this is wy web!' > /opt/weq/index.html
vim /etc/exports
/opt/mcl 192.168.10.0/24(rw,sync)
/opt/long 192.168.10.0/24(rw,sync)
--发布同享---
exportfs -rv　　

3.装备节点服务器（192.168.10.20、192.168.10.30）

systemctl stop firewalld.service
setenforce 0

3.1 装备虚拟 IP 地址（VIP：192.168.10.12）

此地址仅用作发送Web呼应数据包的源地址，并不需求监听客户机的拜访恳求(改由调度器监听并分发)。因而运用虚接口lo:0来承载VIP地址，并为本机增加一条路由记录，将拜访VIP的数据约束在本地，以避免通讯紊乱。

cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-lo:0      
vim ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.10.12                        #和VIP保持一致
NETMASK=255.255.255.255                     #留意：子网掩码必须全为 1
ifup lo:0
ifconfig lo:0
route add -host 192.168.10.12 dev lo:0      #增加VIP本地拜访路由，将拜访VIP的数据约束在本地，以避免通讯紊乱
vim /etc/rc.local
/sbin/route add -host 192.168.10.12 dev lo:0
chmod +x /etc/rc.local

3.2 调整内核的ARP呼应参数以阻挠更新VIP的MAC地址，避免发生冲突

vim /etc/sysctl.conf
......
net.ipv4.conf.lo.arp_ignore = 1         #体系只呼应意图IP为本地IP的ARP恳求
net.ipv4.conf.lo.arp_announce = 2       #体系不运用IP包的源地址来设置ARP恳求的源地址，而挑选发送接口的IP地址
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
sysctl -p
或者暂时增加
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p
yum -y install nfs-utils rpcbind httpd
systemctl start rpcbind
systemctl start httpd　　

3.3 同享挂载目录

yum -y install nfs-utils rpcbind httpd
systemctl start rpcbind
systemctl start httpd
--192.168.10.20---
mount.nfs 192.168.10.40:/opt/mcl /var/www/html
--192.168.10.30---
mount.nfs 192.168.10.40:/opt/long /var/www/html

4、测试 LVS 群集

在客户端运用浏览器拜访http://192.168.10.12

三、实例操作：构建LVS-DR集群

1、装备负载调度器（192.168.10.11）

1.1 装备虚拟 IP 地址（VIP：192.168.10.12）

1.2 调整 proc 呼应参数

1.3 装备负载分配策略

2、布置同享存储(NFS服务器：192.168.10.40)

3.装备节点服务器（192.168.10.20、192.168.10.30）

3.1 装备虚拟 IP 地址（VIP：192.168.10.12）

节点服务器1（192.168.10.20）

节点服务器2（192.168.10.30）

3.2 调整内核的ARP呼应参数以阻挠更新VIP的MAC地址，避免发生冲突

节点服务器1（192.168.10.20）

节点服务器2（192.168.10.30）

3.3 同享挂载目录

节点服务器1（192.168.10.20）

节点服务器2（192.168.10.30）

4、测试 LVS 群集

在客户端运用浏览器拜访http://192.168.10.12

四、总结

LVS-DR 原理

用户恳求 LVS 抵达 director，director 将恳求的报文的意图 MAC 地址改为后端的 realserver 的 MAC 地址，意图 IP 为 VIP(不变)，源 IP 为 client IP 地址(不变)，然后 director 将报文发送到 realserver，realserver 检测到意图地址为自己本地的 VIP，假如在同一网段，将恳求直接回来给用户，假如用户跟 realserver 不在同一个网段，则需求经过网关回来给用户

arp igore=1
避免网关路由器发送ARP播送时调度器和节点服务器都进行呼应，导致ARP缓存表絮乱不对非本地物理网卡IP的ARP恳求进行呼应，因为VIP时承载1o:0

arp announce=2
体系不运用呼应数据包源IP地址 (VIP) 来作为本机进行ARP恳求报文的源IP地址，而是用发送报文的物理网卡的IP地址作为ARP恳求报文的源IP地址，这样能够避免网关路由器接受到源IP地址为VIP地址的ARP恳求报文后有更新ARP缓存表，导致外网再发送恳求时，数据包到不了调度器。