
如有錯誤,隨時斧正,非常感謝!
為什么要使用haProxy+keepalived呢?為了AMQP服務(wù)的穩(wěn)定性
首先先說下為什么要使用haProxy。我在兩臺服務(wù)器上建了AMQP集群,分別是10.71.13.24和10.71.13.25,以后簡稱為24、25服務(wù)器。假設(shè)AMQP客戶端直接連接24或25。如果24|25服務(wù)器宕機(jī)了,那么連接24|25的AMQP客戶端就無法工作,消費(fèi)者也無法進(jìn)行正常消費(fèi)(以下以24舉例代表24|25單機(jī)的情況)。再者單機(jī)連接可能造成單機(jī)負(fù)載過高,而其他服務(wù)器空閑的狀態(tài)。此時則可以通過haProxy實(shí)現(xiàn)負(fù)載均衡。
在本地的配置如:
global
#log 127.0.0.1 local0 #[日志輸出配置,所有日志都記錄在本機(jī),通過local0輸出]
log 127.0.0.1 local1 notice #定義haproxy 日志級別[error warringinfo debug] daemon #以后臺形式運(yùn)行harpoxy
nbproc 2 #設(shè)置進(jìn)程數(shù)量
maxconn 4096 #默認(rèn)連接數(shù),需考慮ulimit-n限制
#user haproxy #運(yùn)行haproxy的用戶
pidfile /var/run/haproxy.pid #haproxy 進(jìn)程PID文件
#group www #運(yùn)行haproxy的用戶所在的組
#ulimit-n 65535 #ulimit 的數(shù)量限制
#chroot /usr/share/haproxy #chroot運(yùn)行路徑
#debug #haproxy 調(diào)試級別,建議只在開啟單進(jìn)程的時候調(diào)試
#quiet
########默認(rèn)配置############
defaults
log global
log 127.0.0.1 local0 info
mode http #默認(rèn)的模式mode { tcp|http|health },tcp是4層,http是7層,health只會返回OK
option httplog #日志類別,采用httplog
option dontlognull #不記錄健康檢查日志信息
retries 3 #兩次連接失敗就認(rèn)為是服務(wù)器不可用,也可以通過后面設(shè)置
option forwardfor #如果后端服務(wù)器需要獲得客戶端真實(shí)ip需要配置的參數(shù),可以從Http Header中獲得客戶端ip
option httpclose #每次請求完畢后主動關(guān)閉http通道,haproxy不支持keep-alive,只能模擬這種模式的實(shí)現(xiàn)
option redispatch #當(dāng)serverId對應(yīng)的服務(wù)器掛掉后,強(qiáng)制定向到其他健康的服務(wù)器,以后將不支持
option abortonclose #當(dāng)服務(wù)器負(fù)載很高的時候,自動結(jié)束掉當(dāng)前隊列處理比較久的鏈接
maxconn 4096 #默認(rèn)的連接數(shù)
#timeout http-keep-alive10s #默認(rèn)持久連接超時時間
#timeout http-request 10s #默認(rèn)http請求超時時間
#timeout queue 1m #默認(rèn)隊列超時時間
balance roundrobin #設(shè)置默認(rèn)負(fù)載均衡方式,輪詢方式
#balance source #設(shè)置默認(rèn)負(fù)載均衡方式,類似于nginx的ip_hash
#balnace leastconn #設(shè)置默認(rèn)負(fù)載均衡方式,最小連接數(shù)
timeout connect 5s #連接超時
timeout client 120s # 客戶端超時
timeout server 120s #服務(wù)端超時
timeout check 2000 #心跳檢測超時ms
#綁定配置
listen rabbitmq_cluster
bind 0.0.0.0:5678
mode http #配置TCP模式
balance roundrobin
#RabbitMQ集群節(jié)點(diǎn)配置
server rmq_node_13_24 10.71.13.24:5672 check inter 5000 rise 2 fall 3 weight 1
server rmq_node_13_25 10.71.13.25:5672 check inter 5000 rise 2 fall 3 weight 1
# server <name> <ip>:<port> check inter <value> rise <value> fall <value> weight <value>
# check inter <value>:每隔5000ms檢測AMQP服務(wù)是否可用
# rise <value>:檢測到2次可用則可被確認(rèn)再次可用。
# fall <value>:檢測到3次無法連接則認(rèn)為服務(wù)不可用
# weight <value>:權(quán)重配置完haProxy.cfg之后,啟動haProxy:sudo /etc/init.d/haproxy start。(haproxy啟動腳本見最后)
配置解析:之前連接的socket是10.71.13.24:5672,現(xiàn)在連接的socket是10.71.13.24:5678。在25也可以按24的配置COPY一份,因此無論連接的是哪個服務(wù)器的5678端口最終都能實(shí)現(xiàn)負(fù)載均衡。然后還是有一個問題沒有解決,如果某個服務(wù)器宕機(jī)了怎么辦?這就是為什么要引入keepalived了。
關(guān)于keepalived的原理我不熟,也就不過多的去解讀。目前我只是想要解決我碰到的問題。為了解決AMQP最終能夠穩(wěn)定服務(wù),于是申請了一個虛擬IP-VIP:10.71.13.254。通過這個VIP則可以開始配置keepalived.conf了。
! Configuration File for keepalived
global_defs {
router_id Node_Master # 路由ID,主備的不能相同}vrrp_script chk_haproxy {
script "/etc/keepalived/check_haproxy.sh"
interval 5
weight 2}vrrp_instance VI_1 {
state MASTER #keepalived的角色。Master表示主服務(wù)器,從服務(wù)器設(shè)置為BACKUP
interface eth1 #指定檢測網(wǎng)卡,配置成eth0之后我無法連接到AMQP服務(wù)
virtual_router_id 1
priority 100 #優(yōu)先級,BACKUP機(jī)器上的優(yōu)先級至少小于50
advert_int 1 #設(shè)置主備之間的檢測時間,單位為s
authentication {
auth_type PASS
auth_pass root123 }
track_script {
chk_haproxy }
virtual_ipaddress { #VIP地址,可以設(shè)置多個 10.71.13.254
}}virtual_server 10.71.13.254 5672 { # 設(shè)置虛擬服務(wù)器
delay_loop 6 #設(shè)置運(yùn)行情況檢查時間,單位s
lb_algo wrr #設(shè)置負(fù)載調(diào)度算法,共有rr、wrr、lc、wlc、lblc、lblcr、dh、sh 這8種
lb_kind DR #設(shè)置LVS實(shí)現(xiàn)的負(fù)載均衡機(jī)制方式 VS/DR
persistence_timeout 50 #指定在一定時間內(nèi)來自同一IP的連接將會被轉(zhuǎn)發(fā)到同一RealServer中
protocol TCP
# 這個real_server 即LVS的三大部分之一的RealServer,這里特指RabbitMQ服務(wù)
real_server 10.71.13.24 5678 { #配置服務(wù)節(jié)點(diǎn)
weight 1 #配置權(quán)重 TCP_CHECK {
nb_get retry 3
connect_timeout 3
delay_before_retry 3
connect_port 5672
}
}
real_server 10.71.13.25 5678 {
weight 1
TCP_CHECK {
nb_get retry 3
connect_timeout 3
delay_before_retry 3
connect_port 5672
}
}
}virtual_server 10.71.13.254 15672 {
delay_loop 6
lb_algo wrr
lb_kind DR
persistence_timeout 50
protocol TCP
real_server 10.71.13.24 15672 {
weight 1
TCP_CHECK {
nb_get retry 3
connect_timeout 3
delay_before_retry 3
connect_port 15672
}
}
real_server 10.71.13.25 15672 {
weight 1
TCP_CHECK {
nb_get retry 3
connect_timeout 3
delay_before_retry 3
connect_port 15672
}
}}check_haproxy.sh腳本的目的是為了防止haProxy服務(wù)已經(jīng)不可用而keepalived可用的情況,該腳本會嘗試重新啟動haProxy,如果啟動不成功則關(guān)閉keepalived。這樣keepalived的VIP就會漂移到BACKUP備份機(jī),從而繼續(xù)保證服務(wù)。腳本的配置如下:
#! /bin/bashif [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
sudo service haproxy restartfisleep 2if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
sudo service keepalived stopfi在25服務(wù)器上的配置和24的服務(wù)器基本一致,注意修改屬性:route_id、state、priority。
然后啟動keepalived:sudo /etc/init.d/keepalived start。(啟動腳本見最后)
啟動完keepalived之后,我們再次連接AMQP服務(wù)就變成了:10.71.13.254:5762,因?yàn)閙aster是24服務(wù)器,所以實(shí)際真實(shí)響應(yīng)的服務(wù)是10.71.13.24:5678和10.71.13.25:5678。因?yàn)椴捎玫氖羌訖?quán)輪詢且權(quán)重都是1,24和25會輪流響應(yīng)VIP的請求。在haProxy中監(jiān)聽了5678端口,并且采用了輪詢機(jī)制分發(fā)到24和25的5672端口。會發(fā)現(xiàn)keepalived的和haProxy都使用了輪詢機(jī)制,能不能把其中的某一處去掉呢?增加了VIP之后如果master宕機(jī)之后,就會選舉一個從機(jī)成為主機(jī),接管原主機(jī)的服務(wù)。當(dāng)人工修復(fù)好了原主機(jī)之后,從機(jī)會把服務(wù)重新還給主機(jī)去接管,自己還原成原來的狀態(tài)。
haProxy的啟動腳本
#! /bin/shset -ePATH=/sbin:/bin:/usr/sbin:/usr/binPROGDIR=/opt/haproxy-1.7.11PROGNAME=haproxyDAEMON=$PROGDIR/$PROGNAMECONFIG=$PROGDIR/conf/$PROGNAME.cfg
# PIDFILE=$PROGDIR/conf/$PROGNAME.pidPIDFILE=/var/run/haproxy.pidDESC="HAProxy daemon"SCRIPTNAME=/etc/init.d/$PROGNAME# Gracefully exit if the package has been removed.test -x $DAEMON || exit 0start(){
echo -e "Starting $DESC: $PROGNAME\\n"
$DAEMON -f $CONFIG
echo "."}stop(){
echo -e "Stopping $DESC: $PROGNAME\\n"
haproxy_pid="$(cat $PIDFILE)"
kill $haproxy_pid
echo "."}restart(){
echo -e "Restarting $DESC: $PROGNAME\\n"
$DAEMON -f $CONFIG -p $PIDFILE -sf $(cat $PIDFILE)
echo "."}case "$1" in
start)
start ;;
stop)
stop ;;
restart)
restart ;;
*)
echo "Usage: $SCRIPTNAME {start|stop|restart}" >&2
exit 1
;;esac
exit 0keepalived啟動腳本:
#!/bin/sh
#
# Startup script for the Keepalived daemon
#
# processname: keepalived
# pidfile: /var/run/keepalived.pid
# config: /etc/keepalived/keepalived.conf
# chkconfig: - 21 79# description: Start and stop Keepalived
# Source function library. /etc/rc.d/init.d/functions
# Source configuration file (we set KEEPALIVED_OPTIONS there). /etc/sysconfig/keepalivedRETVAL=0prog="keepalived"start() {
echo -n $"Starting $prog: "
daemon keepalived ${KEEPALIVED_OPTIONS}
RETVAL=$?
echo [ $RETVAL -eq 0 ] && touch /var/lock/subsys/$prog}stop() {
echo -n $"Stopping $prog: "
killproc keepalived RETVAL=$?
echo [ $RETVAL -eq 0 ] && rm -f /var/lock/subsys/$prog}reload() {
echo -n $"Reloading $prog: "
killproc keepalived -1
RETVAL=$?
echo}# See how we were called.case "$1" in
start)
start ;;
stop)
stop ;;
reload)
reload ;;
restart)
stop
start ;;
condrestart)
if [ -f /var/lock/subsys/$prog ]; then
stop
start
fi ;;
status)
status keepalived RETVAL=$?
;;
*)
echo "Usage: $0 {start|stop|reload|restart|condrestart|status}"
RETVAL=1esac
exit $RETVAL相關(guān)學(xué)習(xí)推薦:php編程(視頻)
分享名稱:了解RabbitMQ+haProxy+keepalived的使用
本文網(wǎng)址:http://www.chinadenli.net/article30/cggsso.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供移動網(wǎng)站建設(shè)、定制開發(fā)、靜態(tài)網(wǎng)站、網(wǎng)站維護(hù)、品牌網(wǎng)站設(shè)計、定制網(wǎng)站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)