SparkBroadcast運(yùn)行機(jī)制解密（42）

一、Broadcast徹底解密

多端合一響應(yīng)式網(wǎng)站:PC+平板+手機(jī),同一后臺(tái)修改數(shù)據(jù)多端同步更新提交您的需求,獲取網(wǎng)站建設(shè)與營(yíng)銷策劃方案報(bào)價(jià),我們會(huì)在1小時(shí)內(nèi)與您聯(lián)系!

1、Broadcast就是將數(shù)據(jù)從一個(gè)節(jié)點(diǎn)發(fā)送到其他節(jié)點(diǎn)。

2、Broadcast是分布式的共享數(shù)據(jù)，默認(rèn)情況下只要程序運(yùn)行Broadcast變量就會(huì)存在，因?yàn)锽roadcast底層是由BlockManager管理的，但是也可以手動(dòng)銷毀Broadcast變量。

3、Broadcast一般用于處理共享的配置文件，通用的Dataset、常用的數(shù)據(jù)結(jié)構(gòu)等等，但是不適合存放太大的數(shù)據(jù)在Broadcast,Broadcast不會(huì)內(nèi)存溢出，因?yàn)槠鋽?shù)據(jù)的保存的StorageLevel是MEMORY_AND_DISK，雖然如此，也不可以放太大的數(shù)據(jù)，因?yàn)榫W(wǎng)絡(luò)IO和可能的單點(diǎn)壓力會(huì)非常大。

4、廣播的Broadcast變量是只讀變量，保持了數(shù)據(jù)的一致性。

5、Broadcast的使用：

* {{{

* scala> val broadcastVar = sc.broadcast(Array(1, 2, 3))

* broadcastVar: org.apache.spark.broadcast.Broadcast[Array[Int]] = Broadcast(0)

* scala> broadcastVar.value

* res0: Array[Int] = Array(1, 2, 3)

* }}}
6、HttpBroadcast方式的Broadcast:最開始的時(shí)候數(shù)據(jù)存在Driver的文件系統(tǒng)中，Driver會(huì)在本地創(chuàng)建一個(gè)文件夾存放Broadcast中的data，然后啟動(dòng)HttpServer來(lái)訪問(wèn)文件夾中的數(shù)據(jù)，同時(shí)寫入到BlockManager中，獲得BlockId（BroacastBlockId）。當(dāng)?shù)谝淮蜤xecutor中Task要訪問(wèn)Broadcast變量的時(shí)候，會(huì)向Driver通過(guò)HttpServer來(lái)訪問(wèn)數(shù)據(jù)，然后會(huì)在Executor中的BlockManager中注冊(cè)，這樣后續(xù)的Task需要訪問(wèn)Broadcast變量的時(shí)候會(huì)首先查詢當(dāng)前Executor的BlockManager中是否存在，如果存在就就直接獲取數(shù)據(jù)。

7、BroadcastManager是用來(lái)管理Broadcast的，該對(duì)象是在SparkContext創(chuàng)建SparkEnv的時(shí)候創(chuàng)建的。在實(shí)例化BroadcastManager的時(shí)候會(huì)創(chuàng)建BroadcastFactory工廠來(lái)構(gòu)建具體的Broadcst類型，默認(rèn)是TorrentBroadcastFactory。

8、HttpBroadcast存在單點(diǎn)故障和網(wǎng)絡(luò)IO性能問(wèn)題，所以默認(rèn)使用TorrentBroadcast的方式，開始數(shù)據(jù)存放在Driver端，假設(shè)A點(diǎn)需要訪問(wèn)數(shù)據(jù)，就會(huì)去Driver端拿數(shù)據(jù)，然后在本地存儲(chǔ)一份，A節(jié)點(diǎn)也就擁有了一個(gè)副本，A節(jié)點(diǎn)也就成了數(shù)據(jù)源，降低了節(jié)點(diǎn)壓力。

9、TorrentBroadcast按照BLOCK_SIZE（默認(rèn)4m）將Broadcast中的數(shù)據(jù)劃分成不同的block，然后講分塊信息也就是meta信息存放到Driver端的BlockManager中，同時(shí)會(huì)通知BlockManagerMaster說(shuō)明meta信息存放完畢。

二、Broadcast源碼解密

當(dāng)廣播數(shù)據(jù)的時(shí)候，會(huì)調(diào)用SparkContext的broadcast方法，在方法內(nèi)部，Broadcast是由BroadcastManager管理創(chuàng)建的，而BroadcastManager又是有SparkEnv管理的，