Hadoop負載均衡
均衡器(balancer)是一個Hadoop守護進程,它將塊從忙碌的datanode移到相對空閑的datanode,從而重新分配塊。同時堅持塊副本放置策略,將副本分散到不同機架,以降低數(shù)據(jù)損壞率。它不斷移動塊,直到集群達到均衡,即每個datanode的使用率(該節(jié)點上已使用的空間與空間容量之間的比率)和集群的使用率(集群中已使用的空間與集群的空間容量之間的比率)非常接近,差距不超過給定的閾值。
為降低集群負荷,避免干擾其他用戶,均衡器被設計為后臺運行。在不同節(jié)點之間復制數(shù)據(jù)的帶寬也是受限的。默認值是很小的1MB/s,可以通過hdfs-site.xml文件中的dfs.balance.bandwidthPersec屬性重新設定(單位是字節(jié))
Hadoop日志設置
可通過http://192.168.9.110:50070/logLevel查看和設置日志級別,截圖如下:
3.Hadoop堆棧跟蹤
可通過http://192.168.9.110:50070/stacks查看堆棧信息,截圖如下:
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。
本文標題:HADOOP監(jiān)控-創(chuàng)新互聯(lián)
網(wǎng)頁地址:http://www.chinadenli.net/article8/degsop.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站設計、企業(yè)建站、網(wǎng)站策劃、企業(yè)網(wǎng)站制作、品牌網(wǎng)站制作、手機網(wǎng)站建設
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容