hadoop環(huán)境搭建單機(jī)（cdh版本）

創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司是一家服務(wù)多年做網(wǎng)站建設(shè)策劃設(shè)計(jì)制作的公司,為廣大用戶提供了成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作，成都網(wǎng)站設(shè)計(jì)，廣告投放，成都做網(wǎng)站選創(chuàng)新互聯(lián)，貼合企業(yè)需求，高性價(jià)比，滿足客戶不同層次的需求一站式服務(wù)歡迎致電。

1.下載安裝包

下載地址http://hadoop.apache.org/

下載hadoop-2.6.0-cdh6.12.2

2.安裝tar -zxvf? hadoop-2.6.0-cdh6.12.2.tar.gz

3.創(chuàng)建文件夾儲(chǔ)存hadoop，給hadoop重命名

4.進(jìn)入etc文件夾選擇hadoop文件夾? cd hadoop

5.開始配置hadoop-env.sh?? 修改其中的JAVA_HOME路徑

6.配置core-site.xml

fs.defaultFS默認(rèn)文件系統(tǒng)的名稱,用來確定主機(jī)、端口等對(duì)于一個(gè)文件系統(tǒng).

hadoop.tmp.dir是hadoop的臨時(shí)文件目錄

hadoop.proxyuser.root.users 遠(yuǎn)程使用root登錄的用戶

hadoop.proxyuser.root.groups遠(yuǎn)程root組的用戶登錄

7.修改hdfs-site.xml ??

dfs.replication文件副本數(shù)量，副本數(shù)量默認(rèn)按128M進(jìn)行切分，若小于此值的話則不切分！一個(gè)文件，上傳到hdfs上時(shí)指定的是幾個(gè)副本就是幾個(gè)。以后你修改了副本數(shù)，對(duì)已經(jīng)上傳了的文件也不會(huì)起作用。

8.復(fù)制mapred-site.xml.template 并修改內(nèi)容

使用 Yarn 框架執(zhí)行 map-reduce 處理程序

9.配置yarn-site.xml

yarn.resourcemanager.address提供客戶端訪問的地址。客戶端通過該地址向RM提交應(yīng)用程序，殺死應(yīng)用程序等

yarn.nodemanager.aux-services通過該配置項(xiàng)，用戶可以自定義一些服務(wù)，例如Map-Reduce的shuffle功能就是采用這種方式實(shí)現(xiàn)的，這樣就可以在NodeManager上擴(kuò)展自己的服務(wù)。

Shuffle把一組有一定規(guī)則的數(shù)據(jù)盡量轉(zhuǎn)換成一組無規(guī)則的數(shù)據(jù)，越隨機(jī)越好，從Map輸出到Reduce輸入的整個(gè)過程可以廣義地稱為Shuffle。

10修改etc/profile,添加以下內(nèi)容

export HADOOP_HOME=/opt/bigdata/hadoop260?

export HADOOP_MAPRED_HOME=$HADOOP_HOME?

export HADOOP_COMMON_HOME=$HADOOP_HOME?

export HADOOP_HDFS_HOME=$HADOOP_HOME?

export YARN_HOME=$HADOOP_HOME?

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native?

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin?

export HADOOP_INSTALL=$HADOOP_HOME

11.格式化

hdfs namenode -format

12、啟動(dòng)start-all.sh?

關(guān)閉是stop-all.sh

13、jps查看所有進(jìn)程是否開啟

14、訪問

http://192.168.56.110:50070

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

分享文章：Hadoop環(huán)境搭建cdh版本-創(chuàng)新互聯(lián)
瀏覽地址：http://www.chinadenli.net/article0/djdhoo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應(yīng)網(wǎng)站、建站公司、定制開發(fā)、標(biāo)簽優(yōu)化、搜索引擎優(yōu)化、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)