這篇文章主要介紹“Flink實(shí)時(shí)計(jì)算大促壓測(cè)的方法是什么”，在日常操作中，相信很多人在Flink實(shí)時(shí)計(jì)算大促壓測(cè)的方法是什么問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”Flink實(shí)時(shí)計(jì)算大促壓測(cè)的方法是什么”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

郁南網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、響應(yīng)式網(wǎng)站建設(shè)等網(wǎng)站項(xiàng)目制作，到程序開發(fā)，運(yùn)營(yíng)維護(hù)。創(chuàng)新互聯(lián)自2013年創(chuàng)立以來到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。

一、背景：

臨近雙11大促，為避免流量峰值較高，電商公司都會(huì)對(duì)系統(tǒng)進(jìn)行壓測(cè)。一直做實(shí)時(shí)數(shù)據(jù)計(jì)算，應(yīng)用是基于Flink做的，接收kafka消息，進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，包括：pv、uv、dau、單量、成交額等等。

為了保證應(yīng)用在大促期間不出問題，需要進(jìn)行實(shí)時(shí)計(jì)算程序進(jìn)行壓測(cè)。由于統(tǒng)計(jì)的數(shù)據(jù)分為兩類(流量數(shù)據(jù)、訂單數(shù)據(jù))，對(duì)這兩類數(shù)據(jù)進(jìn)行不同方式的壓測(cè)。

二、壓測(cè)準(zhǔn)備

(1)壓測(cè)時(shí)間選擇：一般選擇在凌晨，對(duì)業(yè)務(wù)影響最小

(2)集群準(zhǔn)備：搭建主備集群，將kafka集群、Flink集群、redis集群，分別搭建兩套，在資源有充裕的情況下。（主備集群既能夠做到容災(zāi)、高可用，也能在壓測(cè)過程，輕松實(shí)現(xiàn)壓測(cè)）

(3)如果資源有限，不能搭建主備集群，也能進(jìn)行壓測(cè)，但是在災(zāi)備和高可用方面就沒辦法保證了

三、壓測(cè)實(shí)踐

情況一：有主備集群的情況下(壓測(cè)比較簡(jiǎn)單)

(1)通知下游，將查詢的數(shù)據(jù)切換另外一套集群上(不進(jìn)行壓測(cè)的集群)

(2)將kafka消息位點(diǎn)進(jìn)行調(diào)整，將消息擠壓量調(diào)整至去年大促的峰值的幾倍左右

(3)重啟Flink應(yīng)用

(4)查看監(jiān)控：kafka監(jiān)控、Flink監(jiān)控

 kafka消息擠壓監(jiān)控

 Flink數(shù)據(jù)處理監(jiān)控

情況二：沒有主備集群的情況下(由于沒有主備集群，壓測(cè)可能會(huì)對(duì)下游統(tǒng)計(jì)數(shù)據(jù)存在影響，需要通知下游)

1.流量數(shù)據(jù)壓測(cè)(由于數(shù)據(jù)量較大不好做冪等處理，對(duì)下游影響較大)

(1)通知下游，將壓測(cè)安排在凌晨進(jìn)行

(2)停止Flink應(yīng)用，造成消息擠壓，達(dá)到擠壓數(shù)量

(3)啟動(dòng)Flink應(yīng)用，開始消費(fèi)，查看各項(xiàng)監(jiān)控指標(biāo)

注：沒有采用回置kafka消息位點(diǎn)，而是進(jìn)行憋數(shù)，只造成短時(shí)間下游數(shù)據(jù)指標(biāo)短時(shí)間不可用，整體影響不大

2.訂單數(shù)據(jù)壓測(cè)

沒有冪等處理，同樣可以采用流量的方法進(jìn)行壓測(cè)

有冪等處理

(1)通知下游，進(jìn)行壓測(cè)

(2)回置kafka消息位點(diǎn)

(3)重啟Flink應(yīng)用，開始消費(fèi)，查看各項(xiàng)監(jiān)控指標(biāo)

注：由于冪等處理，回置位點(diǎn)，不會(huì)對(duì)下游統(tǒng)計(jì)數(shù)據(jù)造成影響

到此，關(guān)于“Flink實(shí)時(shí)計(jì)算大促壓測(cè)的方法是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！

新聞標(biāo)題：Flink實(shí)時(shí)計(jì)算大促壓測(cè)的方法是什么
當(dāng)前地址：http://www.chinadenli.net/article10/ighedo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營(yíng)銷、自適應(yīng)網(wǎng)站、全網(wǎng)營(yíng)銷推廣、手機(jī)網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計(jì)、企業(yè)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)