Centos7学习笔记（二十三）- nginx的keepalived高可用

一、什么是keepalived

keepalived最初是为LVS设计的，用于管理并监控LVS集群中各个服务节点的状态，后来又加入了可用实现高可用的VRRP协议支持。VRRP是Virtual Router RedundancyProtocol(虚拟路由器冗余协议）的缩写，VRRP出现的目的就是为了解决静态路由单点故障问题的，它能够保证当个别节点宕机时，整个网络可以不间断地运行。这里的VRRP协议，就是纯粹的网络中使用的VRRP协议。

二、keepalived工作原理

这里说“keepalived工作原理”，其实是在说VRRP的工作原理。后者的工作原理，语言描述上大致是这样的：

1. 虚拟路由器中的路由器根据优先级选举出Master，Master路由器通过发送免费ARP报文，将自己的虚拟MAC地址通告给与它连接的设备。

2. Master路由器周期性发送VRRP报文，以公布自己的配置信息（优先级等）和工作状态

3. 如果Master故障，虚拟路由器中的Backup路由器将根据优先级重新选举新的Master

4. 虚拟路由器状态切换时，Master路由器由一台设备切换会另外一台设备，新的Master路由器只是简单的发送一个携带虚拟MAC地址和虚拟IP的免费ARP报文，这样就可以更新其他设备中缓存的ARP信息

5. Backup路由器的优先级高于Master时，由Backup的工作方式（抢占式或者非抢占式）决定是否重新选举Master。

在 Keepalived服务对之间，只有作为master的服务器会一直发送 VRRP广播包,告诉backup它还活着，此时backup不会枪占主，当master不可用时，即backup监听不到主发送的广播包时，就会启动相关服务接管资源，保证业务的连续性.接管速度最快可以小于1秒。

三、keepalvied配置文件详解

keepalived配置文件可按照三个大块区分。

全局配置(Global Configuration)
VRRPD配置
LVS配置

其中VRRPD配置，又可以分为如下几个子块

vvrp_script

vrrp_sync_group

garp_group

vrrp_instance

garp_group配置忽略

实例：

             global_defs {
                router_id LVS_Server                             《=======指定标识该机器的route_id
                 }
            vrrp_instance VI_1 {
                state MASTER                                         《========指定该keepalived节点的初始状态
                interface ens8                                         《=========vrrp实例绑定的接口，用于发送VRRP包
                virtual_router_id 51                                 《=========指定VRRP实例ID
                priority 150                                                《=========指定优先级，优先级高的将成为MASTER
                nopreempt                                               《==========设置为不抢占。默认是抢占的
                advert_int 1                                              《=========发出vrrp通告的时间间隔，此处设置为1秒
                authentication {
                    auth_type PASS                                      《==========指定认证为“简单密码认证”
                    auth_pass password                                 《==========指定认证所使用的密码为“password”。
                }
                virtual_ipaddress {  
                    192.168.1.217 dev ens8                              《==========指定VIP地址
                }
            }
            virtual_server 192.168.1.217 443 {
                delay_loop 3                                                       《========监控检查的时间间隔为3秒          
                lvs_sched rr                                                          《==========LVS的调度算法                    
                lvs_method DR                                                      《=========LVS 模式
                protocol TCP                                                         《=======4层协议
                real_server 192.168.1.211 443 {                             《========这里对应192.168.1.211的443端口
                    weight 1
                    TCP_CHECK {
                        connect_port 443
                        connect_timeout 3
                        nb_get_retry 3                                              《======get尝试次数
                        delay_before_retry 10                                          《=======在尝试之前延迟多长时间
                    }
                }
                real_server 192.168.1.212 443 {                             《========这里对应192.168.1.212的443端口
                    weight 1
                    TCP_CHECK {
                        connect_port 443
                        connect_timeout 3
                        nb_get_retry 3
                        delay_before_retry 10
                    }
                }
            }
            virtual_server 192.168.1.217 80 {
                delay_loop 3
                lvs_sched rr
                lvs_method DR
                protocol TCP
                real_server 192.168.1.211 80 {                             《========这里对应192.168.1.211的80端口
                    weight 1
                    TCP_CHECK {
                        connect_port 80
                        connect_timeout 3
                        nb_get_retry 3
                        delay_before_retry 10
                    }
                    }
                }
                real_server 192.168.1.212 80 {                             《========这里对应192.168.1.212的80端口
                    weight 1                                                  《==========调整优先级。默认为2
                    TCP_CHECK {
                        connect_port 80                                       《=========连接的端口
                        connect_timeout 3                                  《=========连接超时时间。默认是5s。
                        nb_get_retry 3                                          《==========get尝试次数。
                        delay_before_retry 10
                    }
                }
            }

四、nginx的keepalived高可用

需准备两台做负载均衡（一般是针对七层负载均衡）的机器，10.0.0.5和10.0.0.6，对应的内网IP地址172.16.1.5和172.16.1.6

1、安装keepalived

yum -y install keepalived

2、针对各机器更改keepalived配置文件

vim /etc/keepalived/keepalived.conf 

以下是10.0.0.5的配置：（做MASTER）

global_defs {
        router_id lb01
}                             
vrrp_instance VI_1 {
        state MASTER                                         
        interface eth0                                        
        virtual_router_id 51                                 
        priority 150                                                                                        
        advert_int 1                                              
        authentication {
        auth_type PASS                                      
                auth_pass 12345678                                 
         }
         virtual_ipaddress {  
                10.0.0.3            
         }
}

以下是10.0.0.6的配置：（做BACKUP）

global_defs {
        router_id lb02
}                             
vrrp_instance VI_1 {
        state BACKUP                                         
        interface eth0                                        
        virtual_router_id 51                                 
        priority 100                                                                                        
        advert_int 1                                              
        authentication {
        auth_type PASS                                      
                auth_pass 12345678                               
         }
         virtual_ipaddress {  
                10.0.0.3            
         }
}

两个配置文件的差异：

两个配置文件的相同点：

3、启动keepalived

systemctl start keepalived

systemctl enable keepalived

4、检查keepalived

ps aux |grep keepalived

ip add |grep 10.0.0.3

5、nopreempt的配置

当启用nopreempt时，必须将state状态标识，统一改为BACKUP。

vrrp_instance VI_1 {
        state BACKUP                                         
        interface eth0                                        
        virtual_router_id 51                                 
        priority 150
        nopreempt
}

vrrp_instance VI_1 {
        state BACKUP                                         
        interface eth0                                        
        virtual_router_id 51                                 
        priority 100
        nopreempt
}

这里，更改完之后，仅以priority优先级来确定MASTER和BACKUP。

五、keepalived针对nginx的监控

我们通过用keepalived来实现了nginx负载均衡的高可用性，但是，如果nginx自身因为各种异常而死掉或者假死了，那么，web服务仍然会变的不可用。这时，就要通过监控nginx进程状态，写监控脚本来处理了。

这里，抄录网上的一个脚本：

vrrp_script配置如下：

vrrp_script check_nginx {

            script "/usr/local/keepalived-1.3.4/nginx_check.sh"

            interval 3

            weight -2

}

script一般有两种写法: 

1.通过脚本执行的返回结果，改变优先级，keepalived继续发送通告消息，backup比较优先级再决定

2.脚本里面检测到异常，直接关闭keepalived进程，backup机器接收不到advertisement会抢占IP ,我们采用的是第二种:

看一下nginx_check.sh内容：

#!/bin/bash
nxPidNum=`ps -C nginx --no-header |wc -l`
keepalivedPidNum=`ps -C keepalived --no-header |wc -l`          
if [ $nxPidNum -eq 0 ]; then                          
    systemctl start nginx  
    sleep 3
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
        killall keepalived                     
    elif [ $keepalivedPidNum -eq 0 ];then
        systemctal start keepalived
    fi
elif [ $keepalivedPidNum -eq 0 ];then
    systemctl start keepalived
fi