這篇文章將為大家詳細(xì)講解有關(guān)Hadoop2.6.0上的spark1.5.2集群如何搭建，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)建站主要從事成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)翼城,十余年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):13518219792

一、Spark安裝前提

安裝Spark之前需要先安裝Hadoop集群，因?yàn)橹耙呀?jīng)安裝了hadoop，所以我直接在之前的hadoop集群上安裝spark，但是因?yàn)闄C(jī)器內(nèi)存不夠，我只選擇master以及slave01安裝spark集群，而不要slave02了。

二、Spark安裝步驟：

1.下載scala-2.11.7.tgz

    http://www.scala-lang.org/download/2.11.7.html

2.下載spark-1.5.2-bin-hadoop2.6.tgz(之前安裝的hadoop是2.6.0的)

    http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz

3.安裝Scala（在master上）：

    mkdir /application/scala

    cp /root/scala-2.11.7.tgz /application/scala/

    cd /application/scala/

    tar -zxvf scala-2.11.7.tgz

          創(chuàng)建軟鏈接：

    ln -s /application/scala/scala-2.11.7 /application/scala/scala 

    修改環(huán)境變量，添加SCALA_HOME，并修改PATH即可：

vi /etc/profile.d/java.sh

export SCALA_HOME=/application/scala/scala-2.11.7

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$PATH 

    使配置立即生效：

source /etc/profile 

    驗(yàn)證是否安裝成功

scala –version

    顯示如下：

4.將/application/scala從master復(fù)制到另外一臺(tái)機(jī)器slave01上。

      scp -r /application/scala root@slave01:/application/

5.將/etc/profile.d/java.sh也復(fù)制到slave01上。

再在slave01上進(jìn)行以下命令操作，使配置生效：

source /etc/profile

6.安裝Spark（在master上）：

    mkdir /application/spark

    cp /root/spark-1.5.2-bin-hadoop2.6.tgz /application/spark/

    tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz

    修改環(huán)境變量：將SPARK_HOME添加進(jìn)去，并修改PATH即可。

vi /etc/profile.d/java.sh

export SPARK_HOME=/application/spark/spark-1.5.2-bin-hadoop2.6

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH

    是配置立即生效：

source /etc/profile

7.修改配置文件

7.1修改spark-env.sh配置文件：

cd /application/spark/spark-1.5.2-bin-hadoop2.6/conf

cp spark-env.sh.template spark-env.sh

vi spark-env.sh

在后面追加

###jdk dir

export  JAVA_HOME=/usr/local/jdk

###scala dir

export SCALA_HOME=/application/scala/scala

###the ip of master node of spark

export SPARK_MASTER_IP=192.168.10.1

###the max memory size of worker

export SPARK_WORKER_MEMORY=512m

###hadoop configuration file dir

export HADOOP_CONF_DIR=/application/hadoop/hadoop/etc/hadoop

7.2修改slaves文件

cp slaves.template slaves

vi slaves

添加如下（可能有默認(rèn)localhost，將其改成master）：

master

slave01

8.將/application/spark以及環(huán)境變量的配置文件復(fù)制到slave01，并通過source命令將文件立即生效

    scp -r /application/spark root@slave01:/application/

    scp -r /etc/profile.d/java.sh root@slave01:/etc/profile.d/java.sh

    修改所屬組和用戶

    chown -R hadoop:hadoop /application/spark

      9.到此Spark集群搭建完畢。

     10.啟動(dòng)Spark集群：

    啟動(dòng)Spark之前需要先將hadoop的dfs以及yarn啟動(dòng)。

    /application/spark/spark-1.5.2-bin-hadoop2.6/sbin/start-all.sh

    啟動(dòng)所有服務(wù)之后，在命令行輸入jps，顯示如下：

        

    比hadoop集群啟動(dòng)時(shí)多了Master和worker

    輸入如下命令

    /application/spark/spark-1.5.2-bin-hadoop2.6/bin/spark-shell.sh

    出現(xiàn)scala>時(shí)說明成功。

    在瀏覽器中輸入192.168.10.1:8080時(shí)，會(huì)看到如下圖，有兩個(gè)Worker

在瀏覽器中輸入192.168.10.1:4040

出現(xiàn)如圖：

三、運(yùn)行實(shí)例wordcount實(shí)例：

scala>var textcount=sc.textFile("hdfs://master:9000/data/words2").filter(line=>line.contains("haha")).count()

顯示結(jié)果如下：

關(guān)于“Hadoop2.6.0上的spark1.5.2集群如何搭建”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。

網(wǎng)站標(biāo)題：Hadoop2.6.0上的spark1.5.2集群如何搭建
標(biāo)題鏈接：http://www.chinadenli.net/article38/gcsopp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、網(wǎng)站維護(hù)、ChatGPT、網(wǎng)站策劃、域名注冊(cè)、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)