欧美一区二区三区老妇人-欧美做爰猛烈大尺度电-99久久夜色精品国产亚洲a-亚洲福利视频一区二区

PyCharm搭建Spark開發(fā)環(huán)境的實現(xiàn)步驟-創(chuàng)新互聯(lián)

1.安裝好JDK

創(chuàng)新互聯(lián)公司提供成都網(wǎng)站制作、成都做網(wǎng)站、外貿(mào)營銷網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計，品牌網(wǎng)站制作，一元廣告等致力于企業(yè)網(wǎng)站建設(shè)與公司網(wǎng)站制作，10余年的網(wǎng)站開發(fā)和建站經(jīng)驗,助力企業(yè)信息化建設(shè)，成功案例突破上千余家,是您實現(xiàn)網(wǎng)站建設(shè)的好選擇.

下載并安裝好jdk-12.0.1_windows-x64_bin.exe，配置環(huán)境變量：

  • 新建系統(tǒng)變量JAVA_HOME，值為Java安裝路徑
  • 新建系統(tǒng)變量CLASSPATH，值為 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;（注意最前面的圓點）
  • 配置系統(tǒng)變量PATH，添加 %JAVA_HOME%bin;%JAVA_HOME%jrebin

在CMD中輸入：java或者java -version，不顯示不是內(nèi)部命令等，說明安裝成功。

2.安裝Hadoop，并配置環(huán)境變量

下載hadoop：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

PyCharm搭建Spark開發(fā)環(huán)境的實現(xiàn)步驟

  • 解壓hadoop-2.7.7.tar.gz特定路徑，如：D:\adasoftware\hadoop
  • 添加系統(tǒng)變量HADOOP_HOME：D:\adasoftware\hadoop
  • 在系統(tǒng)變量PATH中添加：D:\adasoftware\hadoop\bin
  • 安裝組件winutils：將winutils中對應(yīng)的hadoop版本中的bin替換自己hadoop安裝目錄下的bin

3.Spark環(huán)境變量配置

spark是基于hadoop之上的，運行過程中會調(diào)用相關(guān)hadoop庫，如果沒配置相關(guān)hadoop運行環(huán)境，會提示相關(guān)出錯信息，雖然也不影響運行。

  • 下載對應(yīng)hadoop版本的spark：http://spark.apache.org/downloads.html
  • 解壓文件到：D:\adasoftware\spark-2.4.3-bin-hadoop2.7
  • 添加PATH值：D:\adasoftware\spark-2.4.3-bin-hadoop2.7\bin;
  • 新建系統(tǒng)變量SPARK_HOME：D:\adasoftware\spark-2.4.3-bin-hadoop2.7;

4.下載安裝anaconda

anaconda集成了python解釋器和大多數(shù)python庫，安裝anaconda 后不用再安裝python和pandas numpy等這些組件了。下載地址。最后將python加到path環(huán)境變量中。

5.在CMD中運行pyspark，出現(xiàn)類似下圖說明安裝配置正常：

PyCharm搭建Spark開發(fā)環(huán)境的實現(xiàn)步驟

出現(xiàn)這種warning是因為JDK版本為12，太高了，但是不影響運行。沒有影響。

6.在pycharm中配置spark

打開PyCharm，創(chuàng)建一個Project。然后選擇“Run” ->“Edit Configurations”–>點擊+創(chuàng)建新的python Configurations

PyCharm搭建Spark開發(fā)環(huán)境的實現(xiàn)步驟

選擇 “Environment variables” 增加SPARK_HOME目錄與PYTHONPATH目錄。

  • SPARK_HOME:Spark安裝目錄
  • PYTHONPATH:Spark安裝目錄下的Python目錄

PyCharm搭建Spark開發(fā)環(huán)境的實現(xiàn)步驟

選擇 File->setting->你的project->project structure

右上角Add content root添加：py4j-some-version.zip和pyspark.zip的路徑（這兩個文件都在Spark中的python文件夾下）

保存即可

7.測試是否配置成功，程序代碼如下，創(chuàng)建一個python程序放進去就可以：

import os
import sys

# Path for spark source folder
os.environ['SPARK_HOME'] = "D:\adasoftware\spark"

# Append pyspark to Python Path
sys.path.append("D:\adasoftware\spark\python")

try:
 from pyspark import SparkContext
 from pyspark import SparkConf

 print("Successfully imported Spark Modules")
except ImportError as e:
 print("Can not import Spark Modules", e)
 sys.exit(1)

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享文章：PyCharm搭建Spark開發(fā)環(huán)境的實現(xiàn)步驟-創(chuàng)新互聯(lián)
分享鏈接：http://www.chinadenli.net/article32/djohpc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計、自適應(yīng)網(wǎng)站、網(wǎng)站制作、云服務(wù)器、App開發(fā)、標(biāo)簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)

h5響應(yīng)式網(wǎng)站建設(shè)