作者 | 白松
成都創(chuàng)新互聯(lián)專注于丹陽企業(yè)網(wǎng)站建設,自適應網(wǎng)站建設,成都做商城網(wǎng)站。丹陽網(wǎng)站建設公司,為丹陽等地區(qū)提供建站服務。全流程按需開發(fā)網(wǎng)站,專業(yè)設計,全程項目跟蹤,成都創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務注:本文為原創(chuàng),引用轉(zhuǎn)載需與數(shù)瀾聯(lián)系。
功能:Basic service interface shared by both CentralizedServiceMaster and CentralizedServiceWorker.
功能:At most, there will be one active master at a time, but many threads can be trying to be the active master.
功能:All workers should have access to this centralized service to execute the following methods.
功能:Zookeeper-based implementation of CentralizedService.
功能:ZooKeeper-based implementation of CentralizedServiceMaster.
功能:ZooKeeper-based implementation of CentralizedServiceWorker.
BspServiceWorker類有WorkerClient和WorkerServer實例,分別作為IPC通信的客戶端和服務器端,通過Netty來發(fā)送數(shù)據(jù)。WorkerClient實例實際為NettyWorkerClient對象,WorkerServert實例實際為NettyWorkerServer對象。
NettyWorkerClient implements WorkerClient接口,NettyWorkerServer implements WorkerServer接口。
NettyWorkerServer類的構(gòu)造方法中創(chuàng)建一個NettyServer對象,用于底層的IPC的通信,還有一個ServerData對象,作為數(shù)據(jù)實體。ServerData中包含該Worker的partitionStore、edgeStore、incomingMessageStore、currentMessageStore、聚集值等。
NettyWorkerClient類的構(gòu)造方法中創(chuàng)建一個NettyClient對象,用于底層的IPC的通信,作為客戶端。
功能:用于加載頂點或邊 輸入splits,每個線程都有一個WorkerClientRequestProcessor實例(實為 NettyWorkerClientRequestProcessor對象),負責向遠端的worker發(fā)送數(shù)據(jù)。
NettyWorkerClientRequestProcessor對象用于發(fā)送的WorkerClient對象就是BspServiceWorker里面的WorkerClient對象。
VertexInputSplitsCallable類中的readInputSplit()方法用來從split中讀取頂點的信息,然后調(diào)用NettyWorkerClientRequestProcessor對象的sendVertexRequest()方法把頂點發(fā)送到它所屬的Partition上。
在該對象中完成“計算-通信-同步”的過程。每個線程都有一個WorkerClientRequestProcessor實例(實為 NettyWorkerClientRequestProcessor對象),負責向遠端的worker發(fā)送數(shù)據(jù)。
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。
網(wǎng)站題目:Giraph源碼分析(二)—啟動Master/Worker服務-創(chuàng)新互聯(lián)
本文網(wǎng)址:http://www.chinadenli.net/article48/dhegep.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供面包屑導航、Google、網(wǎng)站收錄、外貿(mào)網(wǎng)站建設、微信小程序、App開發(fā)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)