本篇內(nèi)容介紹了“hadoop2.5.2的安裝過程”的有關(guān)知識，在實(shí)際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

我們提供的服務(wù)有：網(wǎng)站制作、成都網(wǎng)站建設(shè)、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、汝陽ssl等。為近千家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的汝陽網(wǎng)站制作公司

 安裝之前，想好自己的安裝順序，我的安裝順序

        1 確定安裝集群的數(shù)量和namenode,datanode分配，然后修改對應(yīng)的osts配置文件

        2 讓集群之間實(shí)現(xiàn)ssh無密碼登陸（hadoop集群中，namenode節(jié)點(diǎn)需要能夠ssh無密碼訪問datanode節(jié)點(diǎn)）

        3 配置詳細(xì)環(huán)境，主要為jdk包和hadoop包

 本章主要介紹安裝過程，詳細(xì)的配置文檔請點(diǎn)擊 --》http://my.oschina.net/u/259463/blog/514008

1 修改/etc/hosts 文件
          192.168.1.100 nameNode
          192.168.1.101 dataNode1
          192.168.1.102 dataNode2
 將集群中的機(jī)器添加到hosts中

2 實(shí)現(xiàn)SSH無密碼驗證配置
          注：1 hadoop 集群中，nameNode節(jié)點(diǎn)，需要能夠ssh 無密碼訪問dataNode節(jié)點(diǎn)
                 2 多臺機(jī)器需要重復(fù)操作 2),3) ,4)過程
      1）首先 nameNode節(jié)點(diǎn)生成公鑰
              輸入： ssh-keygen -t rsa 
                生成過程中有三次要求回車（基本全部回車不用設(shè)置）
                        1 采用默認(rèn)文件保存鑰匙
                        2 鍵入密碼短語，如果建立至少5個字符
                        3 重復(fù)密碼短語
      2）將生成的密鑰拷貝到daataNode節(jié)點(diǎn)中（如果是非root用戶，就是/home下該用戶的主目錄）
               輸入： cd /root/.ssh
                          scp ./id_rsa.pub root@192.168.1.101:/root/.ssh/authorized_keys
        中間要求輸入對應(yīng)機(jī)器的密碼，輸入就行
   3）檢查datanode機(jī)器authorized_keys的權(quán)限，確保為644（-rw-r--r--），如果不是，則修改權(quán)限，命令如下 chmod 644 authorized_keys
4）測試 ssh 192.168.1.101

 3 安裝Jdk
   1） 這是格式為.bin的jdk
       jdk-6u45-linux-i586.bin復(fù)制到/usr/java文件夾下,在/usr/java文件夾下執(zhí)行./jdk-6u45-linux-i586.bin
   2） 常見安裝包為 jdk-7-linux-i586.tar.gz
        tar zvxf jdk-7-linux-i586.tar.gz /usr/java

  打開/etc/profile，在文件最后添加
  export JAVA_HOME=/usr/java/jdk1.7.0_23
  export PATH=$JAVA_HOME/bin:$PATH
  export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  可以執(zhí)行source profile（在/etc/文件夾下）快速生效
     輸入java -version測試

 4 安裝hadoop
          hadoop-2.5.2
    同jdk安裝，將下載好的hadoop壓縮包解壓
               例：tar  -zxvf hadoop-2.5.2.tar.gz /home/hadoop
   同樣在環(huán)境變量文件中添加對應(yīng)的環(huán)境變量
      打開/etc/profile，在文件最后添加
  ###set hadoop_env
  export HADOOP_HOME=/home/hadoop/hadoop-2.5.2
  export HADOOP_COMMON_HOME=$HADOOP_HOME
  export HADOOP_HDFS_HOME=$HADOOP_HOME
  export HADOOP_MAPRED_HOME=$HADOOP_HOME
  export HADOOP_YARN_HOME=$HADOOP_HOME
  export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
  export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  export HADOOP_OPTS=\"-Djava.library.path=$HADOOP_HOME/lib\"
 
   執(zhí)行source profile（在/etc/文件夾下）快速生效

 5 配置hadoop需要的配置文件

        詳情請看 http://my.oschina.net/u/259463/blog/514008

 5  用scp 命令將hadoop文件夾拷貝到所有的節(jié)點(diǎn)機(jī)器相同路徑上。

         例子: scp -r hadoop-2.5.2/ root@dataNode01:/home/hadoop 

              -r 為文件夾里面所有文件  root為復(fù)制電腦的用戶名，后面接的為IP請見上面hosts配置文件，后面跟的是復(fù)制到的路徑

 6 要確認(rèn)防火墻的配置，或者直接關(guān)閉

       /etc/init.d/iptables status 本次關(guān)閉為  /etc/init.d/iptables stop 其他請百度

 7 啟動測試

      先格式化 namenode  方法為: ./bin/hadoop namenode -format

      如果格式化因為其他問題報錯，或者不是第一次格式化 請將core-site.xml 配置文件中hadoop.tmp.dir tmp文件夾刪除。

    如果輸出出現(xiàn)（基本倒數(shù)幾行里面） ： /hadoop-2.5.2/hdfs/name has been successfully formatted  說明成功，報錯就需要自己百度google查找問題

 8 然后將hdfs yarn啟動

      sbin/start-dfs.sh
      sbin/start-yarn.sh

 9 啟動成功后 可進(jìn)行瀏覽器訪問

http://192.168.1.100:50070/

http://192.168.1.100:8088/   都沒有問題就說明hadoop和jdk安裝成功。。然后開搞吧

“hadoop2.5.2的安裝過程”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

本文名稱：hadoop2.5.2的安裝過程
URL地址：http://www.chinadenli.net/article34/piiise.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、App開發(fā)、網(wǎng)站設(shè)計公司、品牌網(wǎng)站設(shè)計、云服務(wù)器、全網(wǎng)營銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)