這篇文章將為大家詳細(xì)講解有關(guān)Kafka演進(jìn)的四個(gè)階段分別是什么，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

創(chuàng)新互聯(lián)公司從2013年開(kāi)始，公司以成都網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計(jì)、系統(tǒng)開(kāi)發(fā)、網(wǎng)絡(luò)推廣、文化傳媒、企業(yè)宣傳、平面廣告設(shè)計(jì)等為主要業(yè)務(wù)，適用行業(yè)近百種。服務(wù)企業(yè)客戶(hù)近1000家，涉及國(guó)內(nèi)多個(gè)省份客戶(hù)。擁有多年網(wǎng)站建設(shè)開(kāi)發(fā)經(jīng)驗(yàn)。為企業(yè)提供專(zhuān)業(yè)的網(wǎng)站建設(shè)、創(chuàng)意設(shè)計(jì)、宣傳推廣等服務(wù)。 通過(guò)專(zhuān)業(yè)的設(shè)計(jì)、獨(dú)特的風(fēng)格，為不同客戶(hù)提供各種風(fēng)格的特色服務(wù)。

Kafka是當(dāng)下熱門(mén)的消息隊(duì)列中間件，它可以實(shí)時(shí)地處理海量數(shù)據(jù)，具備高吞吐、低延時(shí)等特性及可靠的消息異步傳遞機(jī)制，可以很好地解決不同系統(tǒng)間數(shù)據(jù)的交流和傳遞問(wèn)題。

Kafka演進(jìn)之路的四個(gè)階段

早期大數(shù)據(jù)平臺(tái)之所以引入Kafka作為業(yè)務(wù)日志的收集處理系統(tǒng)，主要是考慮到它高吞吐低延遲、多重訂閱、數(shù)據(jù)回溯等特點(diǎn)，可以更好地滿(mǎn)足大數(shù)據(jù)場(chǎng)景的需求。但隨著業(yè)務(wù)量的迅速增加，以及在業(yè)務(wù)使用和系統(tǒng)維護(hù)中遇到的問(wèn)題，例如注冊(cè)機(jī)制、監(jiān)控機(jī)制等的不完善，導(dǎo)致出現(xiàn)問(wèn)題無(wú)法快速定位，以及一些線(xiàn)上實(shí)時(shí)任務(wù)發(fā)生故障后沒(méi)有快速恢復(fù)導(dǎo)致消息積壓等,使Kafka集群的穩(wěn)定性和可用性得受到挑戰(zhàn)，經(jīng)歷了幾次嚴(yán)重的故障。

解決以上問(wèn)題對(duì)我們來(lái)說(shuō)迫切而棘手。針對(duì)大數(shù)據(jù)平臺(tái)在使用Kafka上存在的一些痛點(diǎn)，我們從集群使用到應(yīng)用層擴(kuò)展做了一系列的實(shí)踐，整體來(lái)說(shuō)包括四個(gè)階段：

第一階段：版本升級(jí)。圍繞平臺(tái)數(shù)據(jù)生產(chǎn)和消費(fèi)方面存在的一些瓶頸和問(wèn)題，我們針對(duì)目前的Kafka版本進(jìn)行技術(shù)選型，最終確定使用1.1.1版本。

第二階段：資源隔離。為了支持業(yè)務(wù)的快速發(fā)展，我們完善了多集群建設(shè)以及集群內(nèi)Topic間的資源隔離。

第三階段：權(quán)限控制和監(jiān)控告警。

首先在安全方面，早期的Kafka集群處于裸跑狀態(tài)。由于多產(chǎn)品線(xiàn)共用Kafka，很容易由于誤讀其他業(yè)務(wù)的Topic導(dǎo)致數(shù)據(jù)安全問(wèn)題。因此我們基于SASL/SCRAM+ACL增加了鑒權(quán)的功能。

在監(jiān)控告警方面，Kafka目前已然成為實(shí)時(shí)計(jì)算中輸入數(shù)據(jù)源的標(biāo)配，那么其中Lag積壓情況、吞吐情況就成為實(shí)時(shí)任務(wù)是否健康的重要指標(biāo)。因此，大數(shù)據(jù)平臺(tái)構(gòu)建了統(tǒng)一的Kafka監(jiān)控告警平臺(tái)并命名「雷達(dá)」，多維度監(jiān)控Kafka集群及使用方情況。

第四階段：應(yīng)用擴(kuò)展。早期Kafka在對(duì)公司各業(yè)務(wù)線(xiàn)開(kāi)放的過(guò)程中，由于缺乏統(tǒng)一的使用規(guī)范，導(dǎo)致了一些業(yè)務(wù)方的不正確使用。為解決該痛點(diǎn)，我們構(gòu)建了實(shí)時(shí)訂閱平臺(tái)，通過(guò)應(yīng)用服務(wù)的形式賦能給業(yè)務(wù)方，實(shí)現(xiàn)數(shù)據(jù)生產(chǎn)和消費(fèi)申請(qǐng)、平臺(tái)的用戶(hù)授權(quán)、使用方監(jiān)控告警等眾多環(huán)節(jié)流程化自動(dòng)化，打造從需求方使用到資源全方位管控的整體閉環(huán)。

關(guān)于Kafka演進(jìn)的四個(gè)階段分別是什么就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

當(dāng)前名稱(chēng)：Kafka演進(jìn)的四個(gè)階段分別是什么
分享網(wǎng)址：http://www.chinadenli.net/article16/jdhpgg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、外貿(mào)建站、用戶(hù)體驗(yàn)、商城網(wǎng)站、網(wǎng)站營(yíng)銷(xiāo)、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)