Hadoop分布式文件系統(tǒng)

創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司一直秉承“誠信做人，踏實(shí)做事”的原則，不欺瞞客戶，是我們最起碼的底線！ 以服務(wù)為基礎(chǔ)，以質(zhì)量求生存，以技術(shù)求發(fā)展，成交一個客戶多一個朋友！專注中小微企業(yè)官網(wǎng)定制，網(wǎng)站制作、成都網(wǎng)站建設(shè)，塑造企業(yè)網(wǎng)絡(luò)形象打造互聯(lián)網(wǎng)企業(yè)效應(yīng)。

HDFS Hadoop Distributed Filesystem

分布式文件系統(tǒng)：當(dāng)數(shù)據(jù)集大到超過一臺獨(dú)立的計算機(jī)存儲能力時，就需要存儲到若干臺單獨(dú)的計算機(jī)上，管理網(wǎng)絡(luò)中跨多臺計算機(jī)存儲的文件系統(tǒng)稱為分布式文件系統(tǒng)。

分布式文件系統(tǒng)復(fù)雜性：需要考慮節(jié)點(diǎn)故障、不丟失任何數(shù)據(jù)。

HDFS以流式數(shù)據(jù)訪問模式來存儲超大文件，運(yùn)行于商用硬件集群上。

1.超大文件：TB甚至PB級。

2.流式數(shù)據(jù)訪問：一次寫入，多次讀取是最高效地訪問模式。在數(shù)據(jù)集上長時間進(jìn)行各類分析，每次分析都涉及到數(shù)據(jù)集的大部分甚至全部。

3.商用硬件：不需要昂貴且高可靠的硬件，商用硬件，高故障率，但不被用戶察覺。

不適合運(yùn)行在HDFS上：

1.低延遲的數(shù)據(jù)訪問：高數(shù)據(jù)吞吐量，以高時間延遲為代價。

2.大量的小文件：namenode將文件系統(tǒng)的元數(shù)據(jù)存儲在內(nèi)存中，所能存儲的文件總數(shù)受限于namenode的內(nèi)存總量。

3.多用戶寫入，任意修改文件：一個writer，寫操作總是將數(shù)據(jù)添加到文件的末尾。

數(shù)據(jù)塊：

HDFS的數(shù)據(jù)塊，默認(rèn)64MB。

HDFS的快比磁盤的塊大，目的是為了最小化尋址開銷。如果塊設(shè)置的足夠大，從磁盤傳輸數(shù)據(jù)的時間可以明顯的大于定位這個塊開始位置所需的時間。這樣，傳輸一個由多個塊組成的文件的時間取決于磁盤傳輸速率。

塊概念的抽象好處：

1.一個文件的大小可以大于網(wǎng)絡(luò)中任意一個磁盤的容量。一個文件的所有塊不需要存儲在同一個磁盤上。

2.使用塊而非文件作為存儲單元，簡化存儲管理。

3.塊非常適用于數(shù)據(jù)備份進(jìn)而提供數(shù)據(jù)容錯能力和可用性。

namenode和datanode

HDFS集群有兩類節(jié)點(diǎn)，并以管理者-工作者模式運(yùn)行，即一個namenode（管理者）和多個datanode（工作者）。

namenode管理文件系統(tǒng)的命名空間，維護(hù)著文件系統(tǒng)樹及整棵樹內(nèi)所有的文件和目錄。

datanode是文件系統(tǒng)的工作節(jié)點(diǎn)，它們根據(jù)需要存儲并檢索數(shù)據(jù)塊（受客戶端或namenode調(diào)度），并且定期向namenode發(fā)送它們所存儲的塊的列表。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享題目：HDFS簡介-創(chuàng)新互聯(lián)
文章來源：http://www.chinadenli.net/article46/iegeg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App開發(fā)、域名注冊、品牌網(wǎng)站建設(shè)、ChatGPT、網(wǎng)站導(dǎo)航、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)