Hadoop(一)-創(chuàng)新互聯(lián)

在淮南等地區(qū)，都構建了全面的區(qū)域性戰(zhàn)略布局，加強發(fā)展的系統(tǒng)性、市場前瞻性、產品創(chuàng)新能力，以專注、極致的服務理念，為客戶提供網站設計、網站制作網站設計制作專業(yè)公司,公司網站建設,企業(yè)網站建設,品牌網站建設,成都全網營銷推廣,外貿營銷網站建設,淮南網站建設費用合理。

1.介紹：

2.下載

3.部署

偽分布式模式

1.部署jdk

2.部署hadoop

3.hdfs部署

4.ssh遠程登錄并執(zhí)行

5.啟動hdfs

7.部署yarn?

8.啟動yarn

9.打開RM web ui?

10.啟動停止命令

1.介紹：

廣義：以 apache hadoop軟件為主的生態(tài)圈： hive、flume、hbase、kafka、spark、flink
狹義：apache hadoop軟件

hdfs 存儲海量的數據
mapreduce ?計算、分析
yarn 資源和作業(yè)的調度

1.hdfs 存儲海量的數據：
namenode 負責指揮數據的存儲
datanode 主要負責數據的存儲
seconderynamenode? 主要輔助namenode工作
2.yarn 資源和作業(yè)的調度
resourcemanager? 負責指揮資源分配
nodemanager 真正的資源

2.下載

1.官網：?? ?hadoop.apache.org / project.apache.org

2.https://archive.apache.org/dist

3.部署 3.1偽分布式模式

所有進程在一臺機器上運行，所有操作在hadoop用戶下進行

1.部署jdk

tar -zxvf ./jdk-8u45-linux-x64.gz -C ~/app/  //解壓壓縮包
ln -s ./jdk1.8.0_45/ java  //建立軟連接 配置相關參數比較方便
//目錄介紹
drwxr-xr-x. 2 hadoop hadoop     4096 Apr 11  2015 bin  java相關的腳本
drwxr-xr-x. 3 hadoop hadoop     4096 Apr 11  2015 include java運行過程中需要的jar
drwxr-xr-x. 5 hadoop hadoop     4096 Apr 11  2015 jre
drwxr-xr-x. 5 hadoop hadoop     4096 Apr 11  2015 lib java運行過程中需要的jar
-rw-r--r--. 1 hadoop hadoop 21099089 Apr 11  2015 src.zip java的源碼包

配置環(huán)境變量 java 里面的腳本在當前l(fā)inux任何位置都可以使用

vim ~/.bashrc

export JAVA_HOME=/home/hadoop/app/java
export PATH=${JAVA_HOME}/bin:$PATH

source ~/.bashrc

java -version
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)

2.部署hadoop

tar -zxvf ./hadoop-3.3.4.tar.gz -C ~/app/
ln -s ./hadoop-3.3.4/ hadoop

//目錄介紹
drwxr-xr-x. 2 hadoop hadoop  4096 Jul 29 21:44 bin  hadoop相關腳本
drwxr-xr-x. 3 hadoop hadoop  4096 Jul 29 20:35 etc  hadoop配置文件
drwxr-xr-x. 2 hadoop hadoop  4096 Jul 29 21:44 include
drwxr-xr-x. 3 hadoop hadoop  4096 Jul 29 21:44 lib
drwxr-xr-x. 3 hadoop hadoop  4096 Jul 29 20:35 sbin hadoop組件啟動停止腳本
drwxr-xr-x. 4 hadoop hadoop  4096 Jul 29 22:21 share hadoop相關案例

配置環(huán)境變量：

vim ~/.bashrc

#HADOOP_HOME
export HADOOP_HOME=/home/hadoop/app/hadoop
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

source ~/.bashrc

配置參數

vim hadoop-env.sh
export JAVA_HOME=/home/hadoop/app/java

3.hdfs部署

//1.core-site.xml
//fs.defaultFS 指定 namenode 所在機器
cd app/hadoop/conf
vim core-site.xmlfs.defaultFShdfs://fang02:9000//2.hdfs-site.xml
vim hdfs-site.xmldfs.replication1

4.ssh遠程登錄并執(zhí)行

ssh to the localhost without a passphrase //免密登錄
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

格式化文件系統(tǒng)

hdfs namenode -format

2022-11-11 22:25:33,783 INFO common.Storage: Storage directory /tmp/hadoop-hadoop/dfs/name has been
uccessfully formatted.

5.啟動hdfs

start-dfs.sh//啟動進程
檢查 hdfs進程
jps/ps -ef | grep hdfs
4642 NameNode
4761 DataNode
4974 SecondaryNameNode

6.查看namenode web ui

http://fang02:9870/
http://192.168.41.12:9870/

7.部署yarn?

vim mapred-site.xml:mapreduce.framework.nameyarnmapreduce.application.classpath$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*vim yarn-site.xml:yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.env-whitelistJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME

8.啟動yarn

start-yarn.sh

9.打開RM web ui?

http://fang02:8088/
http://192.168.41.12:8088/

10.啟動停止命令

satar-all.sh //啟動dadoop
stop-all.sh //停止hadoop

3.2 完全分布式 1.集群劃分

hdfs:
??? ?namenode nn
??? ?datanode dn
??? ?seconderynamenode ?snn
yarn :
??? ?resourcemanager rm
??? ?nodemanager ? ? nm
?bigdata32 : nn ?dn ??? ?nm
?bigdata33 :?dn ?rm ?nm
?bigdata34 : snn dn ? ? ?nm

2.準備機器

3臺?4G 2cpu 40G克隆機器修改：

(1) ip? vim /etc/sysconfig/network-scripts/ifcfg-ens33
(2) hostname? vim /etc/hostname
(3) ip映射? ?vim /etc/hosts

3.ssh 免密登錄【三臺機器都要做】

[hadoop@bigdata32 ~]$ mkdir app software data shell project
[hadoop@bigdata32 ~]$ ssh-keygen -t rsa 
//拷貝公鑰 【三臺機器都要做】
ssh-copy-id bigdata32
ssh-copy-id bigdata33
ssh-copy-id bigdata34

4 jdk 部署【三臺機器都要做】

//1.scp:
scp [[user@]host1:]file1 ... [[user@]host2:]file2
scp bigdata32:~/1.log  bigdata33:~
//2.rsync:
rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
rsync 	~/1.log bigdata34:~
bigdata32:~/1.log： 文件內容發(fā)生更新
rsync -av	~/1.log bigdata34:~

5.編寫文件同步腳本

#!/bin/bash
#三臺機器 進行文件發(fā)放
if [ $# -lt 1 ];then
	echo "參數不足"
	echo "eg:$0 filename..."
fi
#遍歷發(fā)送文件到 三臺機器
for host in bigdata32 bigdata33 bigdata34
do
	echo "=============$host=================="
	#1.遍歷發(fā)送文件的目錄
	for file in $@
	do
	#2.判斷文件是否存在
	if [ -e ${file} ];then
		pathdir=$(cd $(dirname ${file});pwd)
		filename=$(basename ${file})
		#3.同步文件
		ssh $host "mkdir -p $pathdir"
		rsync -av $pathdir/$filename $host:$pathdir
	else
		echo "${file} 不存在"
	fi
	done
done

給腳本配置環(huán)境變量：

vim ~/.bashrc

export SHELL_HOME=/home/hadoop/shell
export PATH=${PATH}:${SHELL_HOME}

source ~/.bashrc

6.jdk 部署【三臺機器都要安裝】

//1.bigdata32 先安裝jdk
[hadoop@bigdata32 software]$ tar -zxvf jdk-8u45-linux-x64.gz -C ~/app/
[hadoop@bigdata32 app]$ ln -s jdk1.8.0_45/ java
[hadoop@bigdata32 app]$ vim ~/.bashrc

#JAVA_HOME
export JAVA_HOME=/home/hadoop/app/java
export PATH=${PATH}:${JAVA_HOME}/bin

[hadoop@bigdata32 app]$ which java
~/app/java/bin/java

[hadoop@bigdata32 app]$ java -version
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode

[hadoop@bigdata32 app]$ xsync java/
[hadoop@bigdata32 app]$ xsync jdk1.8.0_45
[hadoop@bigdata32 app]$ xsync ~/.bashrc
//三臺機器 source  ~/.bashrc

7.部署hadoop

?bigdata32 : nn ?dn ??? ?nm
?bigdata33 :?? ? ? ?dn ?rm ?nm
?bigdata34 :?? ?snn dn ? ? ?nm

[hadoop@bigdata32 software]$ tar -zxvf hadoop-3.3.4.tar.gz -C ~/app/
[hadoop@bigdata32 app]$ ln -s hadoop-3.3.4/ hadoop

[hadoop@bigdata32 app]$ vim ~/.bashrc

#HADOOP_HOME
export HADOOP_HOME=/home/hadoop/app/hadoop
export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

[hadoop@bigdata32 app]$ source ~/.bashrc

[hadoop@bigdata32 app]$ which hadoop
~/app/hadoop/bin/hadoop

//【三臺機器一起做】
[hadoop@bigdata32 hadoop]$ pwd
/home/hadoop/data/hadoop
[hadoop@bigdata32 data]$ mkdir hadoop

8.配置hdfs

vim core-site.xml:fs.defaultFShdfs://bigdata32:9000hadoop.tmp.dir/home/hadoop/data/hadoopvim hdfs-site.xml:dfs.replication3dfs.namenode.secondary.http-addressbigdata34:9868dfs.namenode.secondary.https-addressbigdata34:9869

[hadoop@bigdata32 hadoop]$ pwd
/home/hadoop/app/hadoop/etc/hadoop
[hadoop@bigdata32 hadoop]$ cat workers
bigdata32
bigdata33
bigdata34

//同步bigdata32內容 到bigdata33 bigdata34
[hadoop@bigdata32 app]$ xsync hadoop
[hadoop@bigdata32 app]$ xsync hadoop-3.3.4
[hadoop@bigdata32 app]$ xsync ~/.bashrc
//三臺機器都要做souce  ~/.bashrc

//格式化：格式化操作 部署時候做一次即可 namenode在哪就在哪臺機器格式化
[hadoop@bigdata32 app]$hdfs namenode -format 

//啟動hdfs：
start-dfs.sh  //namenode在哪 就在哪啟動

訪問namenode web ui: http://bigdata32:9870/

9.配置yarn

//先配置bigdata32 + 同步
 vim mapred-site.xml:mapreduce.framework.nameyarnmapreduce.application.classpath$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*vim yarn-site.xml:yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.env-whitelistJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOMEyarn.resourcemanager.hostnamebigdata33

//bigdata32機器 配置文件分發(fā)到bigdata33 34:
[hadoop@bigdata32 app]$ xsync hadoop-3.3.4

//啟動yarn：
start-yarn.sh //resourcemanager在哪 就在哪啟動

訪問RM web ui:bigdata33:8088

3.3啟動停止hadoop 1.偽分布式

hdfs： start-dfs.sh
yarn:  start-yarn.sh
start-all.sh //啟動hadoop
stop-all.sh //關閉hadoop

2.完全分布式

編寫一個群起腳本：

[hadoop@bigdata32 ~]$ vim shell/hadoop-cluster

#!/bin/bash
if [ $# -lt 1 ];then
	echo "Usage:$0 start|stop"
	exit
fi

case $1 in
 "start")
	echo "========啟動hadoop集群========"
	echo "========啟動 hdfs========"
	ssh bigdata32 "/home/hadoop/app/hadoop/sbin/start-dfs.sh"
	echo "========啟動 yarn========"
	ssh bigdata33 "/home/hadoop/app/hadoop/sbin/start-yarn.sh"
 ;;
  "stop")
	echo "========停止hadoop集群========"
	echo "========停止 yarn========"
	ssh bigdata33 "/home/hadoop/app/hadoop/sbin/stop-yarn.sh"
	echo "========停止 hdfs========"
	ssh bigdata32 "/home/hadoop/app/hadoop/sbin/stop-dfs.sh"
 ;;
   *)
	echo "Usage:$0 start|stop"
 ;;
esac

編寫查看 java 進程的腳本

[hadoop@bigdata32 ~]$ vim shell/jpsall

for host in bigdata32 bigdata33 bigdata34
do
?? ?echo "==========$host========="
?? ?ssh $host "/home/hadoop/app/java/bin/jps| grep -v Jps"
done

你是否還在尋找穩(wěn)定的海外服務器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機房具備T級流量清洗系統(tǒng)配攻擊溯源，準確流量調度確保服務器高可用性，企業(yè)級服務器適合批量采購，新人活動首月15元起，快前往官網查看詳情吧

文章名稱：Hadoop(一)-創(chuàng)新互聯(lián)
文章位置：http://www.chinadenli.net/article6/dhcjog.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供品牌網站建設、靜態(tài)網站、定制開發(fā)、網頁設計公司、網站改版、微信公眾號

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內容

欧美一区二区三区老妇人-欧美做爰猛烈大尺度电-99久久夜色精品国产亚洲a-亚洲福利视频一区二区

Hadoop(一)-創(chuàng)新互聯(lián)