本篇內(nèi)容主要講解“Driver容錯(cuò)安全性是什么”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“Driver容錯(cuò)安全性是什么”吧!

成都創(chuàng)新互聯(lián)公司專(zhuān)注于企業(yè)營(yíng)銷(xiāo)型網(wǎng)站、網(wǎng)站重做改版、巴里坤哈薩克網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、HTML5建站、商城網(wǎng)站建設(shè)、集團(tuán)公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站制作、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁(yè)設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性?xún)r(jià)比高，為巴里坤哈薩克等各大城市提供網(wǎng)站開(kāi)發(fā)制作服務(wù)。

從數(shù)據(jù)層面，ReceivedBlockTracker為整個(gè)Spark Streaming應(yīng)用程序記錄元數(shù)據(jù)信息。

從調(diào)度層面，DStreamGraph和JobGenerator是Spark Streaming調(diào)度的核心，記錄當(dāng)前調(diào)度到哪一進(jìn)度，和業(yè)務(wù)有關(guān)。

ReceivedBlockTracker在接收到元數(shù)據(jù)信息后調(diào)用addBlock方法，先寫(xiě)入磁盤(pán)中，然后在寫(xiě)入內(nèi)存中。

根據(jù)batchTime分配屬于當(dāng)前BatchDuration要處理的數(shù)據(jù)到timToAllocatedBlocks數(shù)據(jù)結(jié)構(gòu)中。

Time類(lèi)的是一個(gè)case class，記錄時(shí)間，重載了操作符，隱式轉(zhuǎn)換，值得借鑒。

case classTime(private valmillis: Long) {   defmilliseconds: Long = millis   def< (that: Time): Boolean = (this.millis < that.millis)   def<= (that: Time): Boolean = (this.millis <= that.millis)   def> (that: Time): Boolean = (this.millis > that.millis)   def>= (that: Time): Boolean = (this.millis >= that.millis)   def+ (that: Duration): Time = newTime(millis + that.milliseconds)   def- (that: Time): Duration = newDuration(millis - that.millis)   def- (that: Duration): Time = newTime(millis - that.milliseconds)   // Java-friendlier versions of the above.   defless(that: Time): Boolean = this< that   deflessEq(that: Time): Boolean = this<= that   defgreater(that: Time): Boolean = this> that   defgreaterEq(that: Time): Boolean = this>= that   defplus(that: Duration): Time = this+ that   defminus(that: Time): Duration = this- that   defminus(that: Duration): Time = this- that   deffloor(that: Duration): Time = {     valt = that.milliseconds     newTime((this.millis / t) * t)   }   deffloor(that: Duration, zeroTime: Time): Time = {     valt = that.milliseconds     newTime(((this.millis - zeroTime.milliseconds) / t) * t + zeroTime.milliseconds)   }   defisMultipleOf(that: Duration): Boolean =     (this.millis % that.milliseconds == 0)   defmin(that: Time): Time = if(this< that) this elsethat   defmax(that: Time): Time = if(this> that) this elsethat   defuntil(that: Time, interval: Duration): Seq[Time] = {     (this.milliseconds) until (that.milliseconds) by (interval.milliseconds) map (newTime(_))   }   defto(that: Time, interval: Duration): Seq[Time] = {     (this.milliseconds) to (that.milliseconds) by (interval.milliseconds) map (newTime(_))   }   override deftoString: String = (millis.toString + " ms") } objectTime {   implicit valordering = Ordering.by((time: Time) => time.millis) }

跟蹤Time對(duì)象，ReceiverTracker的allocateBlocksToBatch方法中的入?yún)atchTime是被JobGenerator的generateJobs方法調(diào)用的。

JobGenerator的generateJobs方法是被定時(shí)器發(fā)送GenerateJobs消息調(diào)用的。

GenerateJobs中的時(shí)間參數(shù)就是nextTime，而nextTime+=period，這個(gè)period就是ssc.graph.batchDuration.milliseconds。

nextTime的初始值是在start方法中傳入的startTime賦值的，即RecurringTimer的getStartTime方法的返回值，是當(dāng)前時(shí)間period的(整數(shù)倍+1)。

Period這個(gè)值是我們調(diào)用new StreamingContext來(lái)構(gòu)造StreamingContext時(shí)傳入的Duration值。

ReceivedBlockTracker會(huì)清除過(guò)期的元數(shù)據(jù)信息，從HashMap中移除，也是先寫(xiě)入磁盤(pán)，然后在寫(xiě)入內(nèi)存。

元數(shù)據(jù)的生成，消費(fèi)和銷(xiāo)毀都有WAL，所以失敗時(shí)就可以從日志中恢復(fù)。從源碼分析中得出只有設(shè)置了checkpoint目錄，才進(jìn)行WAL機(jī)制。

對(duì)傳入的checkpoint目錄來(lái)創(chuàng)建日志目錄進(jìn)行WAL。

這里是在checkpoint目錄下創(chuàng)建文件夾名為receivedBlockMetadata的文件夾來(lái)保存WAL記錄的數(shù)據(jù)。

把當(dāng)前的DStream和JobGenerator的狀態(tài)進(jìn)行checkpoint，該方法是在generateJobs方法最后通過(guò)發(fā)送DoCheckpoint消息，來(lái)調(diào)用的。

到此，相信大家對(duì)“Driver容錯(cuò)安全性是什么”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢(xún)，關(guān)注我們，繼續(xù)學(xué)習(xí)！

當(dāng)前標(biāo)題：Driver容錯(cuò)安全性是什么
分享URL：http://www.chinadenli.net/article12/geegdc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動(dòng)態(tài)網(wǎng)站、關(guān)鍵詞優(yōu)化、企業(yè)建站、Google、外貿(mào)網(wǎng)站建設(shè)、手機(jī)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)