一、LVS 概述
LVS是Linux Virtual Server的缩写，是一种依据Linux内核完成的高可用性、高性能的负载均衡技能。它能够将来自客户端的恳求分发到多台服务器上，完成多台服务器的负载均衡，进步整个系统的性能和可用性。
LVS技能首要包括以下几个组件：
- LVS调度器：担任接纳客户端恳求并将其分发到后端的实在服务器上，依据不同的负载均衡算法进行分发。
- 实在服务器：处理来自调度器的恳求并回来呼应，供给实践的服务。
- Keepalived：LVS的高可用组件，用于监控LVS调度器的状况并在发生毛病时主动切换到备用调度器，以确保服务的高可用性。
- IPVS：内核中完成LVS技能的模块，完成负载均衡算法和恳求分发等功用。
LVS技能广泛应用于互联网服务、网络游戏、数据中心等领域，能够进步系统的性能和可用性，下降系统的保护成本。
二、LVS 根本操作
1）根本命令操作
1、增加规矩
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p timeout] [-M netmast] [--pepersistence_engine] [-b sched-flags]
2、删去规矩
ipvsadm -D -t|u|f service-address
3、清空界说的一切内容
ipvsadm -C
4、重载
ipvsadm -R
6、保存
ipvsadm -S [-n]
7、增、改RS规矩
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
8、删去RS规矩
ipvsadm -d -t|u|f service-address -r server-address
9、查看规矩列表
ipvsadm -Ln|l [options]
--numeric, -n: 以数字方法输出地址和端口号
--exact: 扩展信息，准确值
--stats: 计算信息
--rate: 输出速率信息
10、清空计数器
ipvsadm -Z [-t|u|f service-address]
11、ipvs规矩
/proc/net/ip_vs
12、ipvs衔接
/proc/net/ip_vs_conn
2）保存及重载规矩
1、保存
建议保存至 /etc/sysconfig/ipvsadm
ipvsadm-save -n > /PATH/TO/IPVSADM_FILE
ipvsadm -Sn > /PATH/TO/IPVSADM_FILE
systemctl stop ipvsadm.service
2、重载
ipvsadm-restore < /PATH/TO/IPVSADM_FILE
ipvsadm -R < /PATH/TO/IPVSADM_FILE
systemctl restart ipvsadm.service
三、LVS 四种形式实战操作讲解
1）NAT 形式
1、规划要点
- RIP与DIP在同一IP网络，RIP的网关要指向DIP
- 支撑端口映射
- Director要翻开中心转发功用
2、装备
1、管理集群服务：增，改，删
- 增、改
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p timeout]
- 删去：
ipvsadm -D -t|u|f service-address
- service-address:
-t|u|f:
-t：TCP协议的端口，VIP：TCP_PORT
-u：UDP协议的端口，VIP：UDP_PORT
-f：firewall MARK，符号，一个数字
[-s scheduler]：指定集群的调度算法：默许为wlc
2、管理集群上的RS：增、改、删
- 增、改：ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
- server-address: rip[:port] 如省掉port，不作端口映射
- 选项：lvs类型：
-g：gateway, dr类型，默许
-i：ipip, tun类型
-m：masquerade，nat类型
-w weight：权重
3、ipvs scheduler
- ipvs scheduler：依据其调度是否考虑各RS当时的负载状况 两种：静态办法和动态办法
- 静态办法：仅依据算法自身进行调度
1、RR: roundrobin, 轮训
2、WRR: Weighted RR, 加权轮训
3、SH: Source Hashing, 完成session sticky, 源IP地址hash; 将来自同一个IP地址的恳求一直发往第一次挑中的RS，然后完成会话绑定
4、DH: Destination Hashing; 目标地址哈希，将发往同一个目标地址的恳求一直转发至第一次挑中的RS, 典型运用场景是正向代理缓存场景中的负载均衡，如：带宽运营商
4、试验：完成NAT形式的LVS（有必要原路回来）
ip_forward=1
route add default gw 192.168.0.201
# -t:tcp, -s wrr:加权 轮训
ipvsadm -A -t 172.20.0.200:80 -s wrr
# -m: NAT形式；默许：DR形式，不支撑映射到不同端口；-w：权重,默许是1
ipvsadm -a -t 172.20.0.200:80 -r 192.168.30.17:8080 -m -w 3
ipvsadm -a -t 172.20.0.200:80 -r 192.168.30.27:8080 -m
2.router：路由器装备
ip_forward=1
route add default gw 192.168.0.200
2）DR 形式
1、DR模型中各主机上均需求装备VIP，解决地址冲突的方法有三种：
- 在前端网关做静态绑定
- 在各RS运用arptables
- 在各RS修正内核参数，来约束arp呼应和布告的等级
2、约束呼应等级：arp_ignore
-
0：默许值，表明可运用本地恣意接口上装备在恣意地址呼应 -
1：仅在恳求目标IP装备在本地主机的接纳到恳求报文的接口上时，才给予呼应
3、约束布告等级：arp_announce
-
0：默许值，把本机一切接口的一切信息向每个接口的网络进行告诉 -
1：尽量防止将接口信息向非直接衔接网络进行告诉 -
2：有必要防止将接口信息向非网络进行布告
4、试验：完成DR形式的LVS（不原路回来）
-
过程一：预备3台虚拟机
-
过程二：先装备3台虚拟机的网络
eth0 装备在一个网段
DIP,RIP装备在一个网段
- 过程三：装备lvs的VIP
ifconfig ens33:0 192.168.182.100/24
echo "1" > /proc/sys/net/ipv4/ip_forward
- 过程四（RS）：调整RS的呼应，布告等级（每一台RS都配）
echo 1 > /proc/sys/net/ipv4/conf/ens33/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/ens33/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
- 过程五：在RS上装备VIP
ifconfig lo:8 192.168.182.100 netmask 255.255.255.255
- 过程六：发动RS上的httpd服务
yum install httpd -y
cd /var/www/html
vi index.html
service httpd start
客户端验证：RIP:80能显现
VIP:80不能显现
- 过程七：装置 LVS—ipvsadm
yum install ipvsadm -y
# -t:tcp, -s rr:轮训
ipvsadm -A -t 192.168.182.100:80 -s rr
# -m: NAT形式；默许：DR形式，不支撑映射到不同端口；-w：权重,默许是1；-g：DR模型，-m：NET模型
ipvsadm -a -t 192.168.182.128:80 -r 192.168.182.129 -g
ipvsadm -a -t 192.168.182.128:80 -r 192.168.182.130 -g
ipvsadm -ln
# 浏览器刷新：拜访vip
ipvsadm -lnc
netstat -natp
3）TUN形式
4）FULL-NAT形式
四、Keepalived + LVS 实战操作
Keepalived 是一个用于 Linux 渠道的高可用性软件。它完成了虚拟路由器冗余协议 (VRRP) 和健康查看功用，能够用于确保在多台服务器之间供给服务的高可用性。Keepalived 能够检测服务器的毛病，并在主服务器宕机时，主动将备份服务器提高为主服务器，确保服务的持续性和可用性。
Keepalived 能够在主备服务器之间动态分配虚拟 IP 地址，使客户端能够在主备服务器之间无缝切换，进步服务的可用性。此外，Keepalived 还支撑依据文本文件的装备和依据 SNMP 的监控。它能够与常用的负载均衡器配合运用，如 HAProxy、Nginx 等。
总的来说，Keepalived 是一个功用强大的工具，可用于供给高可用性服务。它是一个免费的开源软件，广泛应用于企业和个人服务器环境中。
架构图如下：
1） keepalived 装置以及根本操作
# 装置
yum install keepalived -y
# 发动
service keepalived start
# 装备文件方位
/etc/keepalived/keepalived.conf
# 查看日志
tail -f /var/log/message
2）详细装备过程
-
【过程一】至少预备四台虚拟机
-
【过程二】调整RS的呼应，布告等级（每一台RS都配）
echo 1 > /proc/sys/net/ipv4/conf/ens33/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/ens33/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
- 过程三：在RS上装备VIP，切记(DR形式)不要忘了在RS装备VIP,要不然数据包会被丢弃
ifconfig lo:8 192.168.182.100 netmask 255.255.255.255
- 过程四：在RS装置发动httpd服务
yum install httpd -y
cd /var/www/html
echo "from ooxxip" > index.html
service httpd start
- 过程五：给两台keepalived机子装置keepalived（一主一备）
yum -y install keepalived
yum -y install ipvsadm
- 过程六：装备keepalived装备文件
主节点装备：
# /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
# vrrp_strict 假如还是拜访不了VIP，能够把这行注释掉
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
# 主
state MASTER
# 备
# state BACKUP
interface ens33
virtual_router_id 51
# 主
priority 100
# 备
# priority 50
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.182.100/32 dev ens33 label ens33:7
}
}
virtual_server 192.168.182.100 80 {
delay_loop 6
lb_algo rr
lb_kind DR nat_mask 255.255.255.0
persistence_timeout 0
protocol TCP
real_server 192.168.182.130 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.182.131 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
从节点装备：
# 仿制一份修正好的装备到从主机，修正 1、state BACKUP，2、priority 50
cd /etc/keepalived/ && scp ./keepalived.conf root@192.168.182.129:`pwd`
# 发动
/bin/systemctl start keepalived.service
# RS切记关闭防火墙，假如web也拜访不了，lvs也能够关闭防火墙试试
systemctl stop firewalld
# 查看是否装备了VIP
#查看是否装备了规矩
# 主未挂，备则会主动装备规矩,但是不会装备VIP，确保只有一个VIP对外供给服务
# 一旦主挂了，则备接收（测验，down掉主网卡：ifconfig ens33 down）
缺点：脑裂问题
【剖析原因】：keepalived自身不是高可用，主进程或许会被杀死，但是进程杀死后，没有收回VIP，导致主keepalived无法播送，备keepalived得不到主的播送信号，导致备也会配上VIP，使得主备都有VIP，最终CIP拜访VIP的三次握手或许会被打散到主备keepalived上，无法树立衔接，导致无法拜访。
【解决方案】：
- 写一个主动脚本，守时巡检主keepalived进程是否还存活，假如被杀死，则重启主keepalived服务
- 换用更高级的高可用技能（zookeeper），后续会有zookeeper相应的文章
最终附上keepalived装备文件说明：
! Configuration File for keepalived
global_defs { #全局界说部分
notification_email { #设置报警邮件地址，可设置多个
acassen@firewall.loc #接纳告诉的邮件地址
}
notification_email_from test0@163.com #设置 发送邮件告诉的地址
smtp_server smtp.163.com #设置 smtp server 地址，但是ip或域名.可选端口号 （默许25）
smtp_connect_timeout 30 #设置 衔接 smtp server的超时时刻
router_id LVS_DEVEL #主机标识，用于邮件告诉
vrrp_skip_check_adv_addr
vrrp_strict #严格履行VRRP协议规范，此形式不支撑节点单播
vrrp_garp_interval 0
vrrp_gna_interval 0
script_user keepalived_script #指定运转脚本的用户名和组。默许运用用户的默许组。如未指定，默许为keepalived_script 用户，如无此用户，则运用root
enable_script_security #如过路径为非root可写，不要装备脚本为root用户履行。
}
vrrp_script chk_nginx_service { #VRRP 脚本声明
script "/etc/keepalived/chk_nginx.sh" #周期性履行的脚本
interval 3 #运转脚本的距离时刻，秒
weight -20 #权重，priority值减去此值要小于备服务的priority值
fall 3 #检测几回失利才为失利，整数
rise 2 #检测几回状况为正常的，才承认正常，整数
user keepalived_script #履行脚本的用户或组
}
vrrp_instance VI_1 { #vrrp 实例部分界说，VI_1自界说称号
state MASTER #指定 keepalived 的人物，有必要大写 可选值：MASTER|BACKUP
interface ens33 #网卡设置，lvs需求绑定在网卡上，realserver绑定在回环口。差异：lvs对拜访为外，realserver为内不易露出本机信息
virtual_router_id 51 #虚拟路由标识，是一个数字，同一个vrrp 实例运用仅有的标识，MASTER和BACKUP 的 同一个 vrrp_instance 下 这个标识有必要保持共同
priority 100 #界说优先级，数字越大，优先级越高。
advert_int 1 #设定 MASTER 与 BACKUP 负载均衡之间同步查看的时刻距离，单位为秒，两个节点设置有必要相同
authentication { #设置验证类型和密码，两个节点有必要共同
auth_type PASS
auth_pass 1111
}
virtual_ipaddress { #设置虚拟IP地址，能够设置多个虚拟IP地址，每行一个
192.168.119.130
}
track_script { #脚本监控状况
chk_nginx_service #可加权重，但会覆盖声明的脚本权重值。chk_nginx_service weight -20
}
notify_master "/etc/keepalived/start_haproxy.sh start" #当时节点成为master时，告诉脚本履行任务
notify_backup "/etc/keepalived/start_haproxy.sh stop" #当时节点成为backup时，告诉脚本履行任务
notify_fault "/etc/keepalived/start_haproxy.sh stop" #当当时节点呈现毛病，履行的任务;
}
virtual_server 192.168.119.130 80 { #界说RealServer对应的VIP及服务端口，IP和端口之间用空格离隔
delay_loop 6 #每隔6秒查询realserver状况
lb_algo rr #后端调试算法（load balancing algorithm）
lb_kind DR #LVS调度类型NAT/DR/TUN
#persistence_timeout 60 同一IP的衔接60秒内被分配到同一台realserver
protocol TCP #用TCP协议查看realserver状况
real_server 192.168.119.120 80 {
weight 1 #权重，最大越高，lvs就越优先拜访
TCP_CHECK { #keepalived的健康查看方法HTTP_GET | SSL_GET | TCP_CHECK | SMTP_CHECK | MISC
connect_timeout 10 #10秒无呼应超时
retry 3 #重连次数3次
delay_before_retry 3 #重连距离时刻
connect_port 80 #健康查看realserver的端口
}
}
real_server 192.168.119.121 80 {
weight 1 #权重，最大越高，lvs就越优先拜访
TCP_CHECK { #keepalived的健康查看方法HTTP_GET | SSL_GET | TCP_CHECK | SMTP_CHECK | MISC
connect_timeout 10 #10秒无呼应超时
retry 3 #重连次数3次
delay_before_retry 3 #重连距离时刻
connect_port 80 #健康查看realserver的端口
}
}
}
vrrp_instance VI_2 { #vrrp 实例部分界说，VI_1自界说称号
state BACKUP #指定 keepalived 的人物，有必要大写 可选值：MASTER|BACKUP 别离表明（主|备）
interface ens33 #网卡设置，绑定vip的子接口，lvs需求绑定在网卡上，realserver绑定在回环口。差异：lvs对拜访为外，realserver为内不易露出本机信息
virtual_router_id 52 #虚拟路由标识，是一个数字，同一个vrrp 实例运用仅有的标识，MASTER和BACKUP 的 同一个 vrrp_instance 下 这个标识有必要保持共同
priority 90 #界说优先级，数字越大，优先级越高。
advert_int 1 #设定 MASTER 与 BACKUP 负载均衡之间同步查看的时刻距离，单位为秒，两个节点设置有必要相同
authentication { #设置验证类型和密码，两个节点有必要共同
auth_type PASS
auth_pass 1111
}
virtual_ipaddress { #设置虚拟IP地址，能够设置多个虚拟IP地址，每行一个
192.168.119.131
}
}
virtual_server 192.168.119.131 80 { #界说RealServer对应的VIP及服务端口，IP和端口之间用空格离隔
delay_loop 6 #每隔6秒查询realserver状况
lb_algo rr #后端调试算法（load balancing algorithm）
lb_kind DR #LVS调度类型NAT/DR/TUN
#persistence_timeout 60 #同一IP的衔接60秒内被分配到同一台realserver
protocol TCP #用TCP协议查看realserver状况
real_server 192.168.119.120 80 {
weight 1 #权重，最大越高，lvs就越优先拜访
TCP_CHECK { #keepalived的健康查看方法HTTP_GET | SSL_GET | TCP_CHECK | SMTP_CHECK | MISC
connect_timeout 10 #10秒无呼应超时
retry 3 #重连次数3次
delay_before_retry 3 #重连距离时刻
connect_port 80 #健康查看realserver的端口
}
}
real_server 192.168.119.121 80 {
weight 1 #权重，最大越高，lvs就越优先拜访
TCP_CHECK { #keepalived的健康查看方法HTTP_GET | SSL_GET | TCP_CHECK | SMTP_CHECK | MISC
connect_timeout 10 #10秒无呼应超时
retry 3 #重连次数3次
delay_before_retry 3 #重连距离时刻
connect_port 80 #健康查看realserver的端口
}
}
}
LVS + Keepalived 介绍和实战操作演示就先到这里了，有任何疑问欢迎给我留言，也可重视我的大众号【大数据与云原生技能共享】，后续会持续更新相关技能文章~。
