延遲隊列,顧名思義它是一種帶有延遲功能的消息隊列。 那么,是在什么場景下我才需要這樣的隊列呢?
創(chuàng)新互聯(lián)公司專注于企業(yè)營銷型網(wǎng)站、網(wǎng)站重做改版、嘉蔭網(wǎng)站定制設(shè)計、自適應(yīng)品牌網(wǎng)站建設(shè)、H5頁面制作、商城網(wǎng)站開發(fā)、集團(tuán)公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計等建站業(yè)務(wù),價格優(yōu)惠性價比高,為嘉蔭等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。
先看看一下業(yè)務(wù)場景:
通常解決以上問題,最簡單直接的辦法就是定時去掃表。
掃表存在的問題是:
延時隊列能對于上述需求能很好的解決
調(diào)研了市場上一些開源的方案,以下:
2.github個人的:https://github.com/ouqiang/delay-queue
1.基于redis實現(xiàn),redis只能配置一個,如果redis掛了整個服務(wù)不可用,可用性差點
2.消費端實現(xiàn)的是拉模式,接入成本大,每個項目都得去實現(xiàn)一遍接入代碼
3.在star使用的人數(shù)不多,放在生產(chǎn)環(huán)境,存在風(fēng)險,加之對go語言不了解,出了問題難以維護(hù)
基本以上原因打算自己寫一個,平常使用php多,項目基本redis的zset結(jié)構(gòu)作為存儲,用php語言實現(xiàn) ,實現(xiàn)原理參考了有贊團(tuán)隊:https://tech.youzan.com/queuing_delay/
總體架構(gòu)
采用master-work架構(gòu)模式,主要包括6個模塊:
環(huán)境依賴:PHP 5.4+ 安裝sockets,redis,pcntl,pdo_MySQL 拓展
create database dq;
#存放告警信息
CREATE TABLE `dq_alert` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`host` varchar(255) NOT NULL DEFAULT '',
`port` int(11) NOT NULL DEFAULT '0',
`user` varchar(255) NOT NULL DEFAULT '',
`pwd` varchar(255) NOT NULL DEFAULT '',
`ext` varchar(2048) NOT NULL DEFAULT '',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
#存放redis信息
CREATE TABLE `dq_redis` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`t_name` varchar(200) NOT NULL DEFAULT '',
`t_content` varchar(2048) NOT NULL DEFAULT '',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=14 DEFAULT CHARSET=utf8;
#存儲注冊信息
CREATE TABLE `dq_topic` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`t_name` varchar(1024) NOT NULL DEFAULT '',
`delay` int(11) NOT NULL DEFAULT '0',
`callback` varchar(1024) NOT NULL DEFAULT '',
`timeout` int(11) NOT NULL DEFAULT '3000',
`email` varchar(1024) NOT NULL DEFAULT '',
`topic` varchar(255) NOT NULL DEFAULT '',
`createor` varchar(1024) NOT NULL DEFAULT '',
`status` tinyint(4) NOT NULL DEFAULT '1',
`method` varchar(32) NOT NULL DEFAULT 'GET',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8;
在DqConf.php文件中修改php了路徑 $logPath
命令:
php DqHttpServer.php --port 8088
訪問:http://127.0.0.1:8088,出現(xiàn)配置界面
redis信息格式:host:post:auth 比如 127.0.0.1:6379:12345
php DqInit.php --port 6789
看到如下信息說明啟動成功
<?php
include_once 'DqLoader.php';
date_default_timezone_set("PRC");
//可配置多個
$server=array(
'127.0.0.1:6789',
);
$dqClient = new DqClient();
$dqClient->addServer($server);
$topic ='order_openvip_checker'; //topic在后臺注冊
$id = uniqid();
$data=array(
'id'=>$id,
'body'=>array(
'a'=>1,
'b'=>2,
'c'=>3,
'ext'=>str_repeat('a',64),
),
//可選,設(shè)置后以這個通知時間為準(zhǔn),默認(rèn)延時時間在注冊topic的時候指定
'fix_time'=>date('Y-m-d 23:50:50'),
);
//添加
$boolRet = $dqClient->add($topic, $data);
echo 'add耗時:'.(msectime() - $time)."ms\n";
//查詢
$time = msectime();
$result = $dqClient->get($topic, $id);
echo 'get耗時:'.(msectime() - $time)."ms\n";
//刪除
$time = msectime();
$boolRet = $dqClient->del($topic,$id);
echo 'del耗時:'.(msectime() - $time)."ms\n";
執(zhí)行php test.php
默認(rèn)日志目錄在項目目錄的logs目錄下,在DqConf.php修改$logPath
ps -ef | grep dq-master| grep -v grep | head -n 1 | awk '{print $2}' | xargs kill -USR2
需要安裝pthreads拓展:
測試原理:使用多線程模擬并發(fā),在1s內(nèi)能成功返回請求成功的個數(shù)
php DqBench concurrency requests
concurrency:并發(fā)數(shù)
requests: 每個并發(fā)產(chǎn)生的請求數(shù)
測試環(huán)境:內(nèi)存 8G ,8核cpu,2個redis和1個dq-server 部署在一個機(jī)器上,數(shù)據(jù)包64字節(jié)
qps:2400
如果調(diào)用通知接口在超時時間內(nèi),沒有收到回復(fù)認(rèn)為通知失敗,系統(tǒng)會重新把數(shù)據(jù)放入隊列,重新通知,系統(tǒng)默認(rèn)最大通知10次(可以在Dqconf.php文件中修改$notify_exp_nums)通知間隔為2n+1,比如第一次1分鐘,通知失敗,第二次3分鐘后,直到收到回復(fù),超出最大通知次數(shù)后系統(tǒng)自動丟棄,同時發(fā)郵件通知
ps:網(wǎng)絡(luò)抖動在所難免,通知接口如果涉及到核心的服務(wù),一定要保證冪等!!
線上部署了兩個實例每個機(jī)房部一個,4個redis作存儲,服務(wù)穩(wěn)定運(yùn)行數(shù)月,各項指標(biāo)均符合預(yù)期
主要接入業(yè)務(wù):
項目地址: https://github.com/chenlinzhong/php-delayqueue
標(biāo)題名稱:php實現(xiàn)延遲隊列
網(wǎng)頁URL:http://www.chinadenli.net/article42/joidec.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供電子商務(wù)、網(wǎng)站排名、網(wǎng)站營銷、、域名注冊、關(guān)鍵詞優(yōu)化
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)