HDFS主要用于最初由Yahoo提出的分布式文件系統(tǒng)，以下它的主要用途：

成都創(chuàng)新互聯(lián)公司成立于2013年，我們提供高端網(wǎng)站建設(shè)、成都網(wǎng)站制作、網(wǎng)站設(shè)計(jì)、網(wǎng)站定制、營銷型網(wǎng)站、成都小程序開發(fā)、微信公眾號(hào)開發(fā)、網(wǎng)站推廣服務(wù)，提供專業(yè)營銷思路、內(nèi)容策劃、視覺設(shè)計(jì)、程序開發(fā)來完成項(xiàng)目落地，為墻體彩繪企業(yè)提供源源不斷的流量和訂單咨詢。

1、保存大數(shù)據(jù)

2、提供快速讀取大數(shù)據(jù)的能力

Heroop幀的主要特征是通過將數(shù)據(jù)和計(jì)算分布在集群中的各節(jié)點(diǎn)服務(wù)器來實(shí)現(xiàn)分布式計(jì)算的目的。在計(jì)算邏輯和所需數(shù)據(jù)接近這一點(diǎn)上，并行計(jì)算分區(qū)后進(jìn)行匯總。

基本模塊

• HDFS：分布式文件系統(tǒng)(by Yahoo)
• Mpredues：分布式計(jì)算幀(by Google)
• HBCD：分布式、非關(guān)系型數(shù)據(jù)庫(by Poerset -＞Microsoft)
• Pig：HDoop的大規(guī)模數(shù)據(jù)分析工具（by Yahoo）
• Hial：將數(shù)據(jù)庫工具、結(jié)構(gòu)化的數(shù)據(jù)文件復(fù)制到數(shù)據(jù)庫表（by Facebook）中
• ZooKeoler：分布式協(xié)同服務(wù)（by Yahoo）
• Yarn：任務(wù)調(diào)度和集群資源管理框架

HDFS分離保存Meta數(shù)據(jù)和用戶數(shù)據(jù)。Meta的數(shù)據(jù)被保存在Namicos中，用戶數(shù)據(jù)被保存在Datan路徑中。服務(wù)器之間的通信基于TCP協(xié)議。

與GFS(Google File System)同樣，從可靠性的考慮出發(fā)，具有將文件的內(nèi)容復(fù)制到多個(gè)Datao，之后將數(shù)據(jù)的復(fù)制復(fù)制到多個(gè)Datannampa的目的和優(yōu)點(diǎn)。

HDFS架構(gòu)

1、 Namamos
Namelos是HDFS的重要點(diǎn)，它保存了HDFS文件系統(tǒng)命名的空間樹，文件和路徑在Nameos中用inpoes顯示。在HDFS系統(tǒng)中，文件的內(nèi)容被分割為大的block(例如128 Mbytes，根據(jù)用戶的需求被配置)，各block獨(dú)立復(fù)制到多個(gè)Data南徑中。Namicos將各文件的各個(gè)block的復(fù)印件存儲(chǔ)在Datanpase的物理位置。

HDFS cial讀HDFS的過程。

讀：當(dāng)讀HDFS保存的某些文件時(shí)，首先對(duì)Nameos，當(dāng)Nameos返回該文件的block的Datan路徑的位置時(shí)，可以從最近的Datao讀取數(shù)據(jù)。

寫：cial在寫文件時(shí)，對(duì)Namelos的要求，Namicos將Datao寫的位置返回（多個(gè)，例如3個(gè)Datao），對(duì)它要求直接的Datannampas，寫入文件block。每個(gè)block，例如寫三個(gè)Data號(hào)碼路徑，多確保文件block。

如何使用pporela方式寫入數(shù)據(jù)，簡單來說，將一個(gè)Datao的第一Datao數(shù)據(jù)復(fù)制到第二Datao，將第二Datao的數(shù)據(jù)復(fù)制到第三Datapass。

這里有幾個(gè)概念：

• 在RAM中，inos數(shù)據(jù)和各文件的block列表。
• 存儲(chǔ)在盤中的形象。這里要注意的是，block的復(fù)印件在不斷變化，block的復(fù)印位置不是checkpot的一部分。
• 保存磁盤上圖像的更改記錄

很多小伙伴，對(duì)大數(shù)據(jù)的概念都是模糊不清的，大數(shù)據(jù)是什么，能做什么，學(xué)的時(shí)候，該按照什么線路去學(xué)習(xí)，學(xué)完往哪方面發(fā)展，想深入了解，想學(xué)習(xí)的同學(xué)歡迎加入大數(shù)據(jù)學(xué)習(xí)群：775908246，有大量干貨（零基礎(chǔ)以及進(jìn)階的經(jīng)典實(shí)戰(zhàn)）分享給大家，并且有清華大學(xué)畢業(yè)的資深大數(shù)據(jù)講師給大家免費(fèi)授課，給大家分享目前國內(nèi)最完整的大數(shù)據(jù)高端實(shí)戰(zhàn)實(shí)用學(xué)習(xí)流程體系。

2 、Datao
一個(gè)Datao上的block的拷貝由兩個(gè)文件表示，第一文件是數(shù)據(jù)的內(nèi)容本身，第二個(gè)文件包括block meta的數(shù)據(jù)(包括文件checksm)，生成時(shí)間。

當(dāng)Datao啟動(dòng)時(shí)，可以積極連接Namelos，驗(yàn)證names ple ID和Datao的軟件版本。如果不符合Namelox，Datao會(huì)自動(dòng)關(guān)閉。names psteID屬于在初始化文件系統(tǒng)的示例時(shí)分配的不同names p糾紛ID的節(jié)點(diǎn)。

在HANshake握手后，Datao通過登錄Namelos將Namicos的分配stor記ID（用于識(shí)別Datao）登錄到Datanmupas中。

Datao能夠通過Block rep報(bào)向Nameos發(fā)送登記時(shí)保存的block的復(fù)印信息。block rep報(bào)每1小時(shí)發(fā)送給Namicos，更新保存的復(fù)印信息。這樣的Namicos，知道各自的拷貝保存著哪個(gè)Dataman路徑。

如果Databs的周期性(譬如，每3秒)，發(fā)送Namelox的消息的話，有Namicos10分以內(nèi)沒領(lǐng)取Data號(hào)碼牌這樣的消息，我想這個(gè)Datao已經(jīng)不能提供服務(wù)。上面的block的復(fù)印件也不能利用。

Holtbated消息是Datao a .總存儲(chǔ)器容量，b .使用的存儲(chǔ)器空間和c .當(dāng)前傳輸?shù)臄?shù)據(jù)的數(shù)目，這些信息可以使用Nameos的空間分配和負(fù)載平衡。

因?yàn)镹ameos沒有直接調(diào)整Data南徑，所以使用hittbal的回答發(fā)送命令。這些命令是：

• 把block復(fù)制到別的節(jié)點(diǎn)
• 刪除本地博客的副本
• 重新注冊(cè)或關(guān)閉節(jié)點(diǎn)
• 立即發(fā)送block reping

3、 Image和Journal
在任何HDFS client發(fā)起的事務(wù)上，變化被記錄在journal上。checkpoint文件不會(huì)更改，它只會(huì)被新的checkpoint文件更新。如果checkpoint文件或journal文件丟失或損壞，命名空間信息就會(huì)部分或全部丟失，為了避免這種情況，HDFS可以通過配置將checkpoint和journal文件保存在不同的存儲(chǔ)路徑。

4、CheckpointNode和BackupNode
CheckpointNode周期性地將當(dāng)前的checkpoint和journal組合產(chǎn)生新的checkpoint和一個(gè)空的journal。CheckpointNode往往運(yùn)行在一個(gè)與NameNode不同的獨(dú)立的服務(wù)器上。

BackupNode類似CheckpointNode，也可以周期性地生成checkpoint，但除此之外，它還能夠在內(nèi)存中保存一份與NameNode同步的image。active NameNode將journal的改動(dòng)發(fā)送給BackupNode。

文件操作和副本分布

1、讀寫文件
HDFS實(shí)現(xiàn)的是多個(gè)讀取模型。

HDFS cial在創(chuàng)建文件之前可以獲取此文件的讀取器。其他沒有出租的cial無法寫入此文件。寫著操作的cial，如果對(duì)Namelos的更新關(guān)閉了文件，關(guān)閉契約。如果軟件過期，cial將被關(guān)閉或未更新租賃，其他cial將獲得租賃合同的權(quán)限。如果霍華德租賃期限到期（1小時(shí)）的話，HDFS租賃合同無法更新。

閱讀可以不受租賃機(jī)制影響，并且多個(gè)客戶端可以并行讀取該文件。

2、block分布
相同block的不同復(fù)印的分布對(duì)于HDFS數(shù)據(jù)的可靠性，讀寫性能重要。默認(rèn)策略如下：當(dāng)一個(gè)新block創(chuàng)建時(shí)，HDFS將一個(gè)副本放在writer的所在地節(jié)點(diǎn)，第二個(gè)和第三個(gè)副本放在不同的機(jī)架不同的節(jié)點(diǎn)，其余更多副本放在另一個(gè)節(jié)點(diǎn)，原則：復(fù)印多個(gè)到同一個(gè)結(jié)點(diǎn)不能放置。兩個(gè)以上的復(fù)印件不能放在同一個(gè)機(jī)上。復(fù)印數(shù)比RK少2倍時(shí)。

在一般的網(wǎng)絡(luò)結(jié)構(gòu)中，同一臺(tái)機(jī)器的節(jié)點(diǎn)使用一個(gè)交換機(jī)連接。同一機(jī)器的節(jié)點(diǎn)之間的網(wǎng)絡(luò)的帶寬往往變高。

總的說來：

• 沒有一個(gè)或多個(gè)block的復(fù)印件。
• 一個(gè)背部沒有相同的block的兩個(gè)復(fù)印件。

3 、復(fù)印管理
Namicos確保所有block中指定的復(fù)印數(shù)。當(dāng)Namelos接到Datao發(fā)出的block reping時(shí)，block的數(shù)量檢測高達(dá)-或over -指定的復(fù)印數(shù)。

如果超過了，Nameos刪除某個(gè)副本。

在低于指定的復(fù)印數(shù)目的情況下，該block具有復(fù)制優(yōu)先順序，僅復(fù)印數(shù)有一個(gè)block具有最高的優(yōu)先順序。有線程確定新復(fù)制在哪里創(chuàng)建。

Nameos必須確保所有復(fù)印件不在同一個(gè)書架上，如果所有的復(fù)印件都在同一個(gè)書架上，Nameos必須減少指定的復(fù)印件數(shù)，從而啟動(dòng)復(fù)印。復(fù)印完成后，Nameos檢測復(fù)印數(shù)大于指定數(shù)目，刪除某個(gè)副本。通過復(fù)制-刪除和復(fù)制。

4、平衡器
平衡器用來平衡HDFS集群中節(jié)點(diǎn)的磁盤使用率。當(dāng)某個(gè)節(jié)點(diǎn)的磁盤使用率大于集群平均使用率超過一定閾值，平衡器會(huì)將數(shù)據(jù)從高磁盤使用率的DataNode節(jié)點(diǎn)移動(dòng)到低使用率的DataNode節(jié)點(diǎn)。平衡器會(huì)盡量減少跨機(jī)架的數(shù)據(jù)拷貝。

5、block掃描儀
所有Databs都用于檢測block的復(fù)印是否破損。另外，如果檢測到損壞，Namicos將會(huì)在該復(fù)印標(biāo)記損壞的同時(shí)創(chuàng)建新的復(fù)印件，并在新復(fù)印成功后刪除損壞的復(fù)印件。

6、節(jié)點(diǎn)結(jié)束
集群管理員可以控制Datao的退出，Datao退出時(shí)，不會(huì)被選為復(fù)印的目的地。但仍然可以支持讀者。Nameos將所有block的復(fù)印件移到其他Datanpass。

網(wǎng)頁標(biāo)題：大數(shù)據(jù)技術(shù)分析：HDFS分布式系統(tǒng)介紹！
轉(zhuǎn)載源于：http://www.chinadenli.net/article26/gccpjg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、自適應(yīng)網(wǎng)站、用戶體驗(yàn)、電子商務(wù)、定制開發(fā)、域名注冊(cè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)