1、Namenode

HDFS的守護進程
記錄文件時如何分割成數(shù)據(jù)塊的,以及這些數(shù)據(jù)塊被存儲到哪些節(jié)點上
對內(nèi)存和I/O進行集中管理
是個單點,發(fā)生故障將使集群崩潰
2、Secondary Namenode
監(jiān)控HDFS狀態(tài)的輔助后臺程序
每個集群都有一個
與NameNode進行通訊定期保存HDFS元數(shù)據(jù)快照
當(dāng)NameNode故障可以作為備用NameNode使用
3、DataNode
每臺從服務(wù)器都運行一個
負(fù)責(zé)把HDFS數(shù)據(jù)塊讀寫到本地文件系統(tǒng)
4、JobTracker
用于處理作業(yè)(用戶提交代碼)的后臺程序
決定有哪些文件參與處理,然后切割task并分配節(jié)點
監(jiān)控task,重啟失敗的task(于不同的幾點)
每個集群只有唯一一個JobTracker,位于Master節(jié)點
5、TaskTracker
位于slave節(jié)點上,與datanode結(jié)合(代碼與數(shù)據(jù)一起的原則)
管理各自節(jié)點上的task(由jobtracker分配)
每個節(jié)點只有一個tasktracker,但一個tasktracker可以啟動多個JVM,用于并行執(zhí)行map或reduce任務(wù)
與jobtracker交互
1.6、Master和Slave
Master:Namenode、Secondary Namenode、jobtracker。瀏覽器(用于觀看管理界面),其它Hadoop工具
Slave:Tasktracker、Datenode
Master不是唯一的
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
文章題目:hadoop學(xué)習(xí)筆記1---Hadoop體系介紹-創(chuàng)新互聯(lián)
文章分享:http://www.chinadenli.net/article16/degdgg.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供軟件開發(fā)、搜索引擎優(yōu)化、企業(yè)網(wǎng)站制作、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站改版、微信小程序
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容