小編給大家分享一下HDFS有哪些顯著的特點(diǎn),相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
分布式文件系統(tǒng)(Hadoop Distributed File System)是Hadoop核心子項(xiàng)目,為Hadoop提供了一個(gè)綜合性的文件系統(tǒng)抽象,并且只會(huì)實(shí)現(xiàn)了多類文件系統(tǒng)的接口。HDFS基于流式數(shù)據(jù)訪問、存儲(chǔ)和處理超大文件。
在HDFS中引入了存放元數(shù)據(jù)信息的服務(wù)器:NameNode和實(shí)際存放數(shù)據(jù)的服務(wù)器:DataNode。
HDFS有著顯著的特點(diǎn)
存儲(chǔ)數(shù)據(jù)較大
運(yùn)行在HDFS的應(yīng)用程序的數(shù)據(jù)處理有較大的需求,從存儲(chǔ)GB到存儲(chǔ)TB級(jí)別的超大文件,在目前的實(shí)際應(yīng)用中,HDFS以及被利用來管理存儲(chǔ)PB級(jí)別的數(shù)據(jù)
支持多硬件平臺(tái)
Hadoop可以運(yùn)行在廉價(jià)、異構(gòu)的商用硬件集群上,并且可以在HDFS設(shè)計(jì)時(shí)充分考慮數(shù)據(jù)的可靠性、安全性、高可用性
支持流式數(shù)據(jù)
HDFS有一個(gè)設(shè)計(jì)思路是“寫入一次,多次讀取”、數(shù)據(jù)源生成數(shù)據(jù)集后,會(huì)被復(fù)制分發(fā)到不同的存儲(chǔ)節(jié)點(diǎn),已用于響應(yīng)數(shù)據(jù)分析任務(wù)的請(qǐng)求。HDFS放寬了可移植操作系統(tǒng)接口的要求,可以以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)
數(shù)據(jù)的一致性高
因?yàn)椴捎谩皩懭胍淮危啻巫x取”的策略,所以支持追加不支持多次修改,降低了數(shù)據(jù)不一致性的造成可能
有效預(yù)防硬件失效
HDFS的設(shè)計(jì)能夠有效預(yù)防硬件異常并且具有自動(dòng)恢復(fù)數(shù)據(jù)的能力
高容錯(cuò)性
HDFS能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本,并且能夠自動(dòng)將失敗的任務(wù)重新發(fā)配,具有高容錯(cuò)性
所以,HDFS經(jīng)常被使用于各個(gè)場(chǎng)景下,例如:
大數(shù)據(jù)存儲(chǔ):分布式存儲(chǔ)
日志處理:擅長(zhǎng)日志分析
ETL:數(shù)據(jù)可抽取到MYSQL,oracle,Lucene
機(jī)器學(xué)習(xí)
搜索引擎
但是,相對(duì)于的,HDFS也有不適應(yīng)的地方
不適合低延遲的數(shù)據(jù)訪問
HDFS不適合處理那些數(shù)據(jù)訪問要求低延遲的請(qǐng)求,因?yàn)镠DFS主要是為了高數(shù)據(jù)的吞吐設(shè)計(jì)的,會(huì)產(chǎn)生稿時(shí)間延遲的代價(jià)
無法高效的存儲(chǔ)大量小文件
HDFS采用主從架構(gòu)來存儲(chǔ)數(shù)據(jù),需要用到NameNode來管理文件系統(tǒng)的元數(shù)據(jù),以響應(yīng)請(qǐng)求。為了快速響應(yīng)請(qǐng)求,元數(shù)據(jù)存在主節(jié)點(diǎn)的內(nèi)存中,如果小文件數(shù)量多達(dá),容易造成內(nèi)存不足,導(dǎo)致系統(tǒng)錯(cuò)誤
以上是“HDFS有哪些顯著的特點(diǎn)”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道!
標(biāo)題名稱:HDFS有哪些顯著的特點(diǎn)-創(chuàng)新互聯(lián)
URL標(biāo)題:http://www.chinadenli.net/article44/dgchee.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站制作、企業(yè)建站、建站公司、搜索引擎優(yōu)化、動(dòng)態(tài)網(wǎng)站、網(wǎng)站設(shè)計(jì)公司
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容