Hadoop分布式文件系統(tǒng)(HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件上的分布式文件系統(tǒng)，它提供高吞吐量來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序，那么在實(shí)際應(yīng)用中我們?nèi)绾蝸?lái)操作使用呢？

創(chuàng)新互聯(lián)專注于企業(yè)網(wǎng)絡(luò)營(yíng)銷推廣、網(wǎng)站重做改版、烏恰網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5高端網(wǎng)站建設(shè)、成都商城網(wǎng)站開(kāi)發(fā)、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)營(yíng)銷網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁(yè)設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為烏恰等各大城市提供網(wǎng)站開(kāi)發(fā)制作服務(wù)。

一、HDFS操作方式：

1、 命令行操作

–FsShell：
$ hdfs dfs

2、 其他的計(jì)算框架-如spark

通過(guò)URI，比如： hdfs://nnhost:port/file…，調(diào)用HDFS的協(xié)議、主機(jī)、端口或者對(duì)外提供的服務(wù)媒、以及文件，在spark的程序中實(shí)現(xiàn)對(duì)HDFS的訪問(wèn)。

 

3、 其他程序：

（1）Java的API，借助于其他的一些計(jì)算框架或者分析工具都可以訪問(wèn)HDFS，如Sqoop加載數(shù)據(jù)到HDFS，F(xiàn)lume加載日志到HDFS，Impala基于HDFS進(jìn)行查詢

（2）REST API：通過(guò)HTP的方式訪問(wèn)HDFS。

 

二、重點(diǎn)關(guān)注HDFS命令行的方式：

    （1）從本地磁盤(pán)拷貝文件foo.txt到HDFS的用戶目錄

–   文件將會(huì)拷貝到/user/username/foo.txt

（2）獲取用戶home目錄的目錄列表

（3）獲取HDFS的根目錄

（4）顯示HDFS文件/user/fred/bar.txt內(nèi)容

（5）拷貝文件到本地磁盤(pán)，命名為baz.txt

（6）在用戶home目錄下創(chuàng)建input目錄

     （7）刪除input_old目錄和所有里面的內(nèi)容

 

三、通過(guò)HUe進(jìn)行操作。

通過(guò)File Browser可以瀏覽和管理HDFS的目錄和文件,也可以創(chuàng)建、移動(dòng)、重命名、修改、上傳、下載和刪除目錄和文件,以及查看文件內(nèi)容

 

四、HDFS推薦

HDFS是所有數(shù)據(jù)的倉(cāng)庫(kù)，在使用HDFS的時(shí)候應(yīng)該對(duì)其目錄（如日志目錄、數(shù)據(jù)目錄）進(jìn)行合理地規(guī)劃和組織。最佳實(shí)踐方式是定義標(biāo)準(zhǔn)目錄結(jié)構(gòu)以及把階段臨時(shí)的數(shù)據(jù)分開(kāi)。規(guī)劃示例如下：

（1）/user-用戶目錄，存放屬于個(gè)別用戶的數(shù)據(jù)和配置信息

（2）/etl-ETL階段的數(shù)據(jù)

（3）/tmp-臨時(shí)生成的用戶在用戶間共享的數(shù)據(jù)

（4）/data-整個(gè)組織用來(lái)分析的和處理的數(shù)據(jù)集

（5）/app-非數(shù)據(jù)文件，比如：配置文件，JAR文件，SQL文件等

 

 

   掌握以上四步對(duì)于應(yīng)用HDFS有著重要的作用和意義，但是大家應(yīng)該根據(jù)自己的情況循序漸進(jìn)，注重實(shí)踐，才可以不斷取得進(jìn)步。我平時(shí)喜歡找一些案例進(jìn)行分析，從而鍛煉提升自己的技能，這個(gè)比較喜歡“大數(shù)據(jù)cn ”這個(gè)微信服務(wù)平臺(tái)。但是真知更多源于實(shí)踐，只有學(xué)習(xí)和了解他人的經(jīng)驗(yàn)，才可以走的更高更遠(yuǎn)，我愛(ài)關(guān)注微信訂閱號(hào)“大數(shù)據(jù)時(shí)代學(xué)習(xí)中心”，研究各位數(shù)據(jù)大牛的經(jīng)驗(yàn)分享，對(duì)于促進(jìn)我個(gè)人的技術(shù)成長(zhǎng)有著非凡的意義。

 

 

 

 

 

 

網(wǎng)站名稱：Hadoop核心組件：四步通曉HDFS
網(wǎng)站URL：http://www.chinadenli.net/article38/iiijsp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動(dòng)態(tài)網(wǎng)站、微信小程序、電子商務(wù)、響應(yīng)式網(wǎng)站、網(wǎng)站導(dǎo)航、網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)