這期內(nèi)容當中小編將會給大家?guī)碛嘘P(guān)Nginx中怎么利用Keepalived實現(xiàn)站點高可用,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
創(chuàng)新互聯(lián)成立于2013年,先為即墨等服務(wù)建站,即墨等地企業(yè),進行企業(yè)商務(wù)咨詢服務(wù)。為即墨企業(yè)網(wǎng)站制作PC+手機+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。
Keepalived是一個基于VRRP協(xié)議來實現(xiàn)的服務(wù)高可用方案,可以利用其來避免IP單點故障,類似的工具還有heartbeat、corosync、pacemaker。但是它一般不會單獨出現(xiàn),而是與其它負載均衡技術(shù)(如lvs、haproxy、nginx)一起工作來達到集群的高可用。
VRRP全稱 Virtual Router Redundancy Protocol,即 虛擬路由冗余協(xié)議。可以認為它是實現(xiàn)路由器高可用的容錯協(xié)議,即將N臺提供相同功能的路由器組成一個路由器組(Router Group),這個組里面有一個master和多個backup,但在外界看來就像一臺一樣,構(gòu)成虛擬路由器,擁有一個虛擬IP(vip,也就是路由器所在局域網(wǎng)內(nèi)其他機器的默認路由),占有這個IP的master實際負責ARP相應(yīng)和轉(zhuǎn)發(fā)IP數(shù)據(jù)包,組中的其它路由器作為備份的角色處于待命狀態(tài)。master會發(fā)組播消息,當backup在超時時間內(nèi)收不到vrrp包時就認為master宕掉了,這時就需要根據(jù)VRRP的優(yōu)先級來選舉一個backup當master,保證路由器的高可用。
在VRRP協(xié)議實現(xiàn)里,虛擬路由器使用 00-00-5E-00-01-XX 作為虛擬MAC地址,XX就是唯一的 VRID (Virtual Router IDentifier),這個地址同一時間只有一個物理路由器占用。在虛擬路由器里面的物理路由器組里面通過多播IP地址 224.0.0.18 來定時發(fā)送通告消息。每個Router都有一個 1-255 之間的優(yōu)先級別,級別最高的(highest priority)將成為主控(master)路由器。通過降低master的優(yōu)先權(quán)可以讓處于backup狀態(tài)的路由器搶占(pro-empt)主路由器的狀態(tài),兩個backup優(yōu)先級相同的IP地址較大者為master,接管虛擬IP。
直接摘抄自 http://www.linuxidc.com/Linux/2013-08/89227.htm :
Heartbeat、Corosync、Keepalived這三個集群組件我們到底選哪個好,首先我想說明的是,Heartbeat、Corosync是屬于同一類型,Keepalived與Heartbeat、Corosync,根本不是同一類型的。Keepalived使用的vrrp協(xié)議方式,虛擬路由冗余協(xié)議 (Virtual Router Redundancy Protocol,簡稱VRRP);Heartbeat或Corosync是基于主機或網(wǎng)絡(luò)服務(wù)的高可用方式;簡單的說就是,Keepalived的目的是模擬路由器的高可用,Heartbeat或Corosync的目的是實現(xiàn)Service的高可用。
所以一般Keepalived是實現(xiàn)前端高可用,常用的前端高可用的組合有,就是我們常見的LVS+Keepalived、Nginx+Keepalived、HAproxy+Keepalived。而Heartbeat或Corosync是實現(xiàn)服務(wù)的高可用,常見的組合有Heartbeat v3(Corosync)+Pacemaker+NFS+Httpd 實現(xiàn)Web服務(wù)器的高可用、Heartbeat v3(Corosync)+Pacemaker+NFS+MySQL 實現(xiàn)MySQL服務(wù)器的高可用。總結(jié)一下,Keepalived中實現(xiàn)輕量級的高可用,一般用于前端高可用,且不需要共享存儲,一般常用于兩個節(jié)點的高可用。而Heartbeat(或Corosync)一般用于服務(wù)的高可用,且需要共享存儲,一般用于多節(jié)點的高可用。這個問題我們說明白了。
又有博友會問了,那heartbaet與corosync我們又應(yīng)該選擇哪個好啊,我想說我們一般用corosync,因為corosync的運行機制更優(yōu)于heartbeat,就連從heartbeat分離出來的pacemaker都說在以后的開發(fā)當中更傾向于corosync,所以現(xiàn)在corosync+pacemaker是最佳組合。
keepalived可以認為是VRRP協(xié)議在Linux上的實現(xiàn),主要有三個模塊,分別是core、check和vrrp。core模塊為keepalived的核心,負責主進程的啟動、維護以及全局配置文件的加載和解析。check負責健康檢查,包括常見的各種檢查方式。vrrp模塊是來實現(xiàn)VRRP協(xié)議的。本文基于如下的拓撲圖:
+-------------+ | uplink | +-------------+ | + MASTER keep|alived BACKUP 172.29.88.224 172.29.88.222 172.29.88.225 +-------------+ +-------------+ +-------------+ | nginx01 |----| virtualIP |----| nginx02 | +-------------+ +-------------+ +-------------+ | +------------------+------------------+ | | | +-------------+ +-------------+ +-------------+ | web01 | | web02 | | web03 | +-------------+ +-------------+ +-------------+
我的環(huán)境是CentOS 6.2 X86_64,直接通過yum方式安裝最簡單:
# yum install -y keepalived # keepalived -v Keepalived v1.2.13 (03/19,2015)
該腳本檢測ngnix的運行狀態(tài),并在nginx進程不存在時嘗試重新啟動ngnix,如果啟動失敗則停止keepalived,準備讓其它機器接管。
/etc/keepalived/check_nginx.sh
:
#!/bin/bash counter=$(ps -C nginx --no-heading|wc -l) if [ "${counter}" = "0" ]; then /usr/local/bin/nginx sleep 2 counter=$(ps -C nginx --no-heading|wc -l) if [ "${counter}" = "0" ]; then /etc/init.d/keepalived stop fi fi
你也可以根據(jù)自己的業(yè)務(wù)需求,總結(jié)出在什么情形下關(guān)閉keepalived,如 curl 主頁連續(xù)2個5s沒有響應(yīng)則切換:
#!/bin/bash # curl -IL http://localhost/member/login.htm # curl --data "memberName=fengkan&password=22" http://localhost/member/login.htm count = 0 for (( k=0; k<2; k++ )) do check_code=$( curl --connect-timeout 3 -sL -w "%{http_code}\\n" http://localhost/login.html -o /dev/null ) if [ "$check_code" != "200" ]; then count = count +1 continue else count = 0 break fi done if [ "$count" != "0" ]; then # /etc/init.d/keepalived stop exit 1 else exit 0 fi
! Configuration File for keepalived global_defs { notification_email { zhouxiao@example.com itsection@example.com } notification_email_from itsection@example.com smtp_server mail.example.com smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_script chk_nginx { # script "killall -0 nginx" script "/etc/keepalived/check_nginx.sh" interval 2 weight -5 fall 3 rise 2 } vrrp_instance VI_1 { state MASTER interface eth0 mcast_src_ip 172.29.88.224 virtual_router_id 51 priority 101 advert_int 2 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 172.29.88.222 } track_script { chk_nginx } }
在其它備機BACKUP上,只需要改變 state MASTER
-> state BACKUP
,priority 101
-> priority 100
,mcast_src_ip 172.29.88.224
-> mcast_src_ip 172.29.88.225
即可。
service keepalived restart
global_defs
notification_email
: keepalived在發(fā)生諸如切換操作時需要發(fā)送email通知地址,后面的 smtp_server 相比也都知道是郵件服務(wù)器地址。也可以通過其它方式報警,畢竟郵件不是實時通知的。
router_id
: 機器標識,通常可設(shè)為hostname。故障發(fā)生時,郵件通知會用到
vrrp_instance
state
: 指定instance(Initial)的初始狀態(tài),就是說在配置好后,這臺服務(wù)器的初始狀態(tài)就是這里指定的,但這里指定的不算,還是得要通過競選通過優(yōu)先級來確定。如果這里設(shè)置為MASTER,但如若他的優(yōu)先級不及另外一臺,那么這臺在發(fā)送通告時,會發(fā)送自己的優(yōu)先級,另外一臺發(fā)現(xiàn)優(yōu)先級不如自己的高,那么他會就回搶占為MASTER
interface
: 實例綁定的網(wǎng)卡,因為在配置虛擬IP的時候必須是在已有的網(wǎng)卡上添加的
mcast_src_ip
: 發(fā)送多播數(shù)據(jù)包時的源IP地址,這里注意了,這里實際上就是在那個地址上發(fā)送VRRP通告,這個非常重要,一定要選擇穩(wěn)定的網(wǎng)卡端口來發(fā)送,這里相當于heartbeat的心跳端口,如果沒有設(shè)置那么就用默認的綁定的網(wǎng)卡的IP,也就是interface指定的IP地址
virtual_router_id
: 這里設(shè)置VRID,這里非常重要,相同的VRID為一個組,他將決定多播的MAC地址
priority
: 設(shè)置本節(jié)點的優(yōu)先級,優(yōu)先級高的為master
advert_int
: 檢查間隔,默認為1秒。這就是VRRP的定時器,MASTER每隔這樣一個時間間隔,就會發(fā)送一個advertisement報文以通知組內(nèi)其他路由器自己工作正常
authentication
: 定義認證方式和密碼,主從必須一樣
virtual_ipaddress
: 這里設(shè)置的就是VIP,也就是虛擬IP地址,他隨著state的變化而增加刪除,當state為master的時候就添加,當state為backup的時候刪除,這里主要是有優(yōu)先級來決定的,和state設(shè)置的值沒有多大關(guān)系,這里可以設(shè)置多個IP地址
track_script
: 引用VRRP腳本,即在 vrrp_script 部分指定的名字。定期運行它們來改變優(yōu)先級,并最終引發(fā)主備切換。
vrrp_script
告訴 keepalived 在什么情況下切換,所以尤為重要。可以有多個 vrrp_script
script
: 自己寫的檢測腳本。也可以是一行命令如killall -0 nginx
interval 2
: 每2s檢測一次
weight -5
: 檢測失敗(腳本返回非0)則優(yōu)先級 -5
fall 2
: 檢測連續(xù) 2 次失敗才算確定是真失敗。會用weight減少優(yōu)先級(1-255之間)
rise 1
: 檢測 1 次成功就算成功。但不修改優(yōu)先級
這里要提示一下script一般有2種寫法:
通過腳本執(zhí)行的返回結(jié)果,改變優(yōu)先級,keepalived繼續(xù)發(fā)送通告消息,backup比較優(yōu)先級再決定
腳本里面檢測到異常,直接關(guān)閉keepalived進程,backup機器接收不到advertisement會搶占IP
上文 vrrp_script 配置部分,killall -0 nginx
屬于第1種情況,/etc/keepalived/check_nginx.sh
屬于第2種情況(腳本中關(guān)閉keepalived)。個人更傾向于通過shell腳本判斷,但有異常時exit 1,正常退出exit 0,然后keepalived根據(jù)動態(tài)調(diào)整的 vrrp_instance 優(yōu)先級選舉決定是否搶占VIP:
如果腳本執(zhí)行結(jié)果為0,并且weight配置的值大于0,則優(yōu)先級相應(yīng)的增加
如果腳本執(zhí)行結(jié)果非0,并且weight配置的值小于0,則優(yōu)先級相應(yīng)的減少
其他情況,原本配置的優(yōu)先級不變,即配置文件中priority對應(yīng)的值。
提示:
優(yōu)先級不會不斷的提高或者降低
可以編寫多個檢測腳本并為每個檢測腳本設(shè)置不同的weight(在配置中列出就行)
不管提高優(yōu)先級還是降低優(yōu)先級,最終優(yōu)先級的范圍是在[1,254],不會出現(xiàn)優(yōu)先級小于等于0或者優(yōu)先級大于等于255的情況
在MASTER節(jié)點的 vrrp_instance 中 配置 nopreempt
,當它異常恢復(fù)后,即使它 prio 更高也不會搶占,這樣可以避免正常情況下做無謂的切換
以上可以做到利用腳本檢測業(yè)務(wù)進程的狀態(tài),并動態(tài)調(diào)整優(yōu)先級從而實現(xiàn)主備切換。
配置結(jié)束
在默認的keepalive.conf里面還有 virtual_server,real_server 這樣的配置,我們這用不到,它是為lvs準備的。 notify
可以定義在切換成MASTER或BACKUP時執(zhí)行的腳本,如有需求請自行g(shù)oogle。
notify
當然nginx沒有什么可配置的,因為它與keepalived并沒有聯(lián)系。但記住,2臺nginx服務(wù)器上的配置應(yīng)該是完全一樣的(rsync同步),這樣才能做到對用戶透明,nginx.conf 里面的 server_name
盡量使用域名來代替,然后DNS解析這個域名到虛擬IP 172.29.88.222。
更多關(guān)于nginx內(nèi)容配置請參考 這里 。
根據(jù)上面的配置,初始化狀態(tài):172.29.88.224 (itoatest1,MASTER,101),172.29.88.222(itoatest2,BACKUP,100),nginx和keepalived都啟動,虛擬IP 172.29.88.222 在 itoatest1 上:
# 使用ip命令配置的地址,ifconfig查看不了 [root@itoatest1 nginx-1.6]# ip a|grep eth0 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 inet 172.29.88.224/24 brd 172.29.88.255 scope global eth0 inet 172.29.88.222/32 scope global eth0
瀏覽器訪問 172.29.88.222 或域名,OK。
直接關(guān)閉 itoatest1 上的nginx:/usr/local/nginx-1.6/sbin/nginx -s stop
:
[root@localhost keepalived]# ip a|grep eth0 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 inet 172.29.88.224/24 brd 172.29.88.255 scope global eth0
vip消失,漂移到 itoatest2:
cdn.segmentfault.com/v-5d2ffc9a/global/img/squares.svg">
同時可以看到兩臺服務(wù)器上 /var/log/messages
:
## itoatest1 Jun 5 16:44:01 itoatest1 Keepalived_vrrp[44875]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 172.29.88.222 Jun 5 16:44:06 itoatest1 Keepalived_vrrp[44875]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 172.29.88.222 Jun 5 16:44:46 itoatest1 Keepalived_vrrp[44875]: VRRP_Script(chk_nginx) failed Jun 5 16:44:48 itoatest1 Keepalived_vrrp[44875]: VRRP_Instance(VI_1) Received higher prio advert Jun 5 16:44:48 itoatest1 Keepalived_vrrp[44875]: VRRP_Instance(VI_1) Entering BACKUP STATE Jun 5 16:44:48 itoatest1 Keepalived_vrrp[44875]: VRRP_Instance(VI_1) removing protocol VIPs. Jun 5 16:44:48 itoatest1 Keepalived_healthcheckers[44874]: Netlink reflector reports IP 172.29.88.222 removed ## itoatest2 Jun 5 16:44:00 itoatest2 Keepalived_vrrp[35555]: VRRP_Instance(VI_1) Transition to MASTER STATE Jun 5 16:44:00 itoatest2 Keepalived_vrrp[35555]: VRRP_Instance(VI_1) Received higher prio advert Jun 5 16:44:00 itoatest2 Keepalived_vrrp[35555]: VRRP_Instance(VI_1) Entering BACKUP STATE Jun 5 16:44:48 itoatest2 Keepalived_vrrp[35555]: VRRP_Instance(VI_1) forcing a new MASTER election Jun 5 16:44:48 itoatest2 Keepalived_vrrp[35555]: VRRP_Instance(VI_1) forcing a new MASTER election Jun 5 16:44:49 itoatest2 Keepalived_vrrp[35555]: VRRP_Instance(VI_1) Transition to MASTER STATE Jun 5 16:44:50 itoatest2 Keepalived_vrrp[35555]: VRRP_Instance(VI_1) Entering MASTER STATE Jun 5 16:44:50 itoatest2 Keepalived_vrrp[35555]: VRRP_Instance(VI_1) setting protocol VIPs. Jun 5 16:44:50 itoatest2 Keepalived_vrrp[35555]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 172.29.88.222 Jun 5 16:44:50 itoatest2 Keepalived_healthcheckers[35554]: Netlink reflector reports IP 172.29.88.222 added Jun 5 16:44:55 itoatest2 Keepalived_vrrp[35555]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 172.29.88.222
你也可以通過在兩臺服務(wù)器上抓包來查看 優(yōu)先級priority 的變化:
## itoatest1 上 ## 直接輸出,或后加 -w itoatest-kl.cap存入文件用wireshark查看 # tcpdump -vvv -n -i eth0 dst 224.0.0.18 and src 172.29.88.224
上述就是小編為大家分享的Nginx中怎么利用Keepalived實現(xiàn)站點高可用了,如果剛好有類似的疑惑,不妨參照上述分析進行理解。如果想知道更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
當前名稱:Nginx中怎么利用Keepalived實現(xiàn)站點高可用
鏈接分享:http://www.chinadenli.net/article22/pigscc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站建設(shè)、服務(wù)器托管、建站公司、Google、移動網(wǎng)站建設(shè)、商城網(wǎng)站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)