目標：

專業(yè)從事企業(yè)網(wǎng)站建設和網(wǎng)站設計服務，包括網(wǎng)站建設、國際域名空間、雅安服務器托管、企業(yè)郵箱、微信公眾號開發(fā)、微信支付寶小程序開發(fā)、app軟件定制開發(fā)、軟件開發(fā)、等服務。公司始終通過不懈的努力和以更高的目標來要求自己,在不斷完善自身管理模式和提高技術研發(fā)能力的同時，大力倡導推行新經(jīng)濟品牌戰(zhàn)略，促進互聯(lián)網(wǎng)事業(yè)的發(fā)展。

搭建hadoop+hbase+zoopkeer+hive 開發(fā)環(huán)境

安裝環(huán)境:

1、centeros 192.168.1.101

2、 centeros 192.168.1.102

開發(fā)環(huán)境：

window +eclipse

一、安裝hadoop集群

1、配置hosts

#vi /etc/hosts

192.168.1.101 master

192.168.1.101 slave1

2、關閉防火墻：

systemctl status firewalld.service #檢查防火墻狀態(tài)

systemctl stop firewalld.service #關閉防火墻

systemctl disable firewalld.service #禁止開機啟動防火墻

3、配置ssh 無密碼訪問

ssh-keygen -t rsa #生成密鑰

slave1

cp ~/.ssh/id_rsa.pub ~/.ssh/slave1.id_rsa.pub

#scp ~/.ssh/slave1.id_rsa.pub master:~/.ssh

master:

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

cat slave1.id_rsa.pub >>authorized_keys

scp authorized_keys slave1:~/.ssh

測試：ssh master

   ssh slave1

4、安裝hadoop

tar -zxvf hadoop-2.8.0.tar.gz

mkdir /usr/hadoop-2.8.0/tmp

mkdir /usr/hadoop-2.8.0/logs

mkdir /usr/hadoop-2.8.0/hdf

mkdir/usr/hadoop-2.8.0/hdf/data

mkdir /usr/hadoop-2.8.0/hdf/name

修改配置文件

修改hadoop-env.sh 增加 export JAVA_HOME

修改mapred-env.sh 增加 export JAVA_HOME

修改yarn-env.sh 增加 export JAVA_HOME

修改 core-site.xml :

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
<description>HDFS address </description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hadoop-2.8.0/tmp</value>
<description>namenode tmp file </description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
<description>HDFS address </description>
</property>

修改mapred.site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://master:9001</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/usr/hadoop/hadoop-2.8.0/mapred/system</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/usr/hadoop/hadoop-2.8.0/mapred/local</value>
<final>true</final>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>

修改 yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>

修改hdfs-site.xml

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/hadoop/hadoop-2.8.0/hdfs/name</value>
<description>namenode </description>
</property>

<property>
<name>dfs.data.dir</name>
<value>/usr/hadoop/hadoop-2.8.0/hdfs/data</value>
<description>datanode脡</description>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
<description>num</description>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>
true or false
</description>
</property>
</configuration>

建立slaves文件并加入slave1

復制文件到slave1

scp -r ~/usr/hadoop slave1:~/usr

加入hadoop bin 到環(huán)境變量中

格式化namenode

hadoop namenode -format

啟動hadoop

./start-all.sh

檢查服務啟動情況 ：jps

master :包含ResourceManager、SecondaryNameNode、NameNode

slave1 :包含datanode NodeManager

下次再說zoopker +hbase

名稱欄目：搭建hadood2.8.0集群開發(fā)環(huán)境
當前URL：http://www.chinadenli.net/article22/gpdccc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供電子商務、靜態(tài)網(wǎng)站、手機網(wǎng)站建設、企業(yè)網(wǎng)站制作、網(wǎng)站設計公司、定制開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)