==> 什么是parquet

成都創(chuàng)新互聯(lián)公司是少有的成都網(wǎng)站建設(shè)、做網(wǎng)站、營銷型企業(yè)網(wǎng)站、小程序開發(fā)、手機(jī)APP,開發(fā)、制作、設(shè)計(jì)、賣鏈接、推廣優(yōu)化一站式服務(wù)網(wǎng)絡(luò)公司,從2013年成立,堅(jiān)持透明化,價(jià)格低,無套路經(jīng)營理念。讓網(wǎng)頁驚喜每一位訪客多年來深受用戶好評

        Parquet 是列式存儲(chǔ)的一種文件類型

==> 官網(wǎng)描述：

            Apache Parquet is a columnar storage format available to any project in the Hadoop ecosystem, regardless of the choice of data processing framework, data model or programming language

        無論數(shù)據(jù)處理框架，數(shù)據(jù)模型或編程語言的選擇如何，Apache Parquet都是Hadoop生態(tài)系統(tǒng)中任何項(xiàng)目可用的列式存儲(chǔ)格式

==> 由來

    Parquet的靈感來自于2010年Google發(fā)表的Dremel論文，文中介紹了一種支持嵌套結(jié)構(gòu)的存儲(chǔ)格式，并且使用了列式存儲(chǔ)的方式提升查詢性能，在Dremel論文中還介紹了Google如何使用這種存儲(chǔ)格式實(shí)現(xiàn)并行查詢的，如果對此感興趣可以參考論文和開源實(shí)現(xiàn)Apache Drill。

==> 特點(diǎn)：

    ---> 可以跳過不符合條件的數(shù)據(jù)，只讀取需要的數(shù)據(jù)，降低 IO 數(shù)據(jù)量

    ---> 壓縮編碼可以降低磁盤存儲(chǔ)空間（由于同一列的數(shù)據(jù)類型是一樣的，可以使用更高效的壓縮編碼（如 Run Length Encoding t  Delta Encoding）進(jìn)一步節(jié)約存儲(chǔ)空間）

    ---> 只讀取需要的列，支持向量運(yùn)算，能夠獲取更好的掃描性能

    ---> Parquet 格式是 Spark SQL 的默認(rèn)數(shù)據(jù)源，可通過 spark.sql.sources.default 配置

==> parquet 常用操作

    ---> load 和 save 函數(shù)

// 讀取 Parquet 文件
val usersDF = spark.read.load("/test/users.parquet")

// 查詢 Schema 和數(shù)據(jù)
usersDF.printSchema
usersDF.show

// 查詢用戶的 name 和喜愛顏色并保存
usersDF.select($"name", $"favorite_color").write.save("/test/result/parquet")
// 驗(yàn)證結(jié)果 可通過 printSchema 查詢數(shù)據(jù)結(jié)構(gòu)，使用 show 查看數(shù)據(jù)

// 顯式指定文件格式： 加載 json 格式
val usersDF = spark.read.format("json").load("/test/people.json")

// 存儲(chǔ)模式(Save Modes) 
// 可以采用 SaveMode 執(zhí)行存儲(chǔ)操作， SaveMode 定義 了對數(shù)據(jù)的處理模式，需要注意的是，這些保存模式不使用任何鎖定，不是原子操作
// 當(dāng)使用 Overwrite 方式執(zhí)行時(shí)，在輸出新數(shù)據(jù)之前，原數(shù)據(jù)就已經(jīng)被刪除
usersDF.select($"name").write.save("/test/parquet1")   // 若 /test/parquet1 存在會(huì)報(bào)錯(cuò)
usersDF.select($"name").wirte.mode("overwrite").save("/test/parquet1")        // 使用 overwrite 即可

// 將結(jié)果保存為表, 也可以進(jìn)行分區(qū)， 分桶等操作： partitionBy  bucketBy
usersDF.select($"name").write.saveAsTable("table1")

    ---> Parquet文件 

            Parquet 是一個(gè)列格式而且用于多個(gè)數(shù)據(jù)處理系統(tǒng)中

       Spark SQL 提供支持對于 Parquet 文件的讀寫，也就是自動(dòng)保存原始 數(shù)據(jù)的 Schema, 當(dāng)寫 Parquet 文件時(shí)，所有的列被自動(dòng)轉(zhuǎn)化為 nullable，因?yàn)榧嫒菪缘木壒?/strong>

        ---- 讀取 Json 格式的數(shù)據(jù)，將其轉(zhuǎn)換成 parquet 格式，創(chuàng)建相應(yīng)的表，使用 SQL 語句查詢

// 從 json 文件中讀入數(shù)據(jù)
val empJson = spark.read.json("/test/emp.json")
// 將數(shù)據(jù)保存為 parquet
empJson.write.mode("overwrite").parquet("/test/parquet")
// 讀取 parquet
val empParquet = spark.read.parquet("/test/parquet")
// 創(chuàng)建臨時(shí)表 emptable
empParquet.createOrReplaceTempView("emptalbe")
// 使用 SQL 語句執(zhí)行查詢
spark.sql("select * from emptable where deptno=10 and sal>1500").show

        ---- Schematic 的合并： 先定義一個(gè)簡單的 Schema，然后逐漸增加列描述，用戶可以獲取多個(gè)有多個(gè)不同 Schema 但相互兼容的 Parquet 文件

// 創(chuàng)建第一個(gè)文件
val df1 = sc.makeRDD(1 to 5).map(x=> (x, x*2)).toDF("single", "double")
scala> df1.printSchema
root
 |-- single: integer (nullable = false)
 |-- double: integer (nullable = false)
 
 
// 創(chuàng)建第二個(gè)文件 
 scala> val df2 = sc.makeRDD(6 to 10).map(x=> (x, x*2)).toDF("single", "triple")
df2: org.apache.spark.sql.DataFrame = [single: int, triple: int]

scala> df2.printSchema
root
 |-- single: integer (nullable = false)
 |-- triple: integer (nullable = false)
  
 scala> df2.write.parquet("/data/testtable/key=2")

 // 合并上面的兩個(gè)文件
scala> val df3 = spark.read.option("mergeSchema", "true").parquet("/data/testtable")
df3: org.apache.spark.sql.DataFrame = [single: int, double: int ... 2 more fields]

scala> df3.printSchema
root
 |-- single: integer (nullable = true)
 |-- double: integer (nullable = true)
 |-- triple: integer (nullable = true)
 |-- key: integer (nullable = true)
 
 scala> df3.show
+------+------+------+---+
|single|double|triple|key|
+------+------+------+---+
|     8|  null|    16|  2|
|     9|  null|    18|  2|
|    10|  null|    20|  2|
|     3|     6|  null|  1|
|     4|     8|  null|  1|
|     5|    10|  null|  1|
|     6|  null|    12|  2|
|     7|  null|    14|  2|
|     1|     2|  null|  1|
|     2|     4|  null|  1|
+------+------+------+---+

    ---> Json Datasets（兩種寫法）

// 第一種
scala> val df4 = spark.read.json("/app/spark-2.2.1-bin-hadoop2.7/examples/src/main/resources/people.json")
df4: org.apache.spark.sql.DataFrame = [age: bigint, name: string]

scala> df4.show
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+

// 第二種
scala> val df5 = spark.read.format("json").load("/app/spark-2.2.1-bin-hadoop2.7/examples/src/main/resources/people.json")
df5: org.apache.spark.sql.DataFrame = [age: bigint, name: string]

scala> df5.show
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+

    ---> JDBC 方式讀取關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)（需要將 JDBC 的驅(qū)動(dòng)加入）

// 將 JDBC 的驅(qū)動(dòng)加入
bin/spark-shell --master spark://bigdata11:7077 --jars /root/temp/ojdbc6.jar --driver-class-path /root/temp/ojdbc6.jar

// 讀取 Oracle
val oracleEmp = spark.read.format("jdbc")
                    .option("url","jdbc:oracle:thin:@192.168.10.100:1521/orcl.example.com")
                    .option("dbtable","scott.emp")
                    .option("user","scott")
                    .option("password","tiger").load

    ---> 操作 Hive 的表

        ---- 把 hive 和 hadoop 的配置文件拷貝到sprke 的 conf 目錄下： hive-sit.xml， core-sit.xml, hdfs-sit.xml

        ---- 啟動(dòng) Spark-shell 時(shí) 指定MySQL 數(shù)據(jù)庫的驅(qū)動(dòng)程序

 ./bin/spark-shell --master spark://bigdata0:7077 --jars /data/tools/mysql-connector-java-5.1.43-bin.jar  --driver-class-path /data/tools/mysql-connector-java-5.1.43-bin.jar

        ---- 使用 Spark Shell 操作 Hive

// 創(chuàng)建表
spark.sql("create table ccc(key INT, value STRING) row format delimited fields terminated by ','")

// 導(dǎo)入數(shù)據(jù)
spark.sql("load data local path '/test/data.txt' into table ccc")

// 查詢數(shù)據(jù)
spark.sql("select * from ccc").show

        ---- 使用 Spark SQL 操作 Hive

show tables;
select * from ccc;

網(wǎng)站名稱：Parquet介紹及簡單使用
文章URL：http://www.chinadenli.net/article26/pejdcg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、網(wǎng)站設(shè)計(jì)、網(wǎng)站營銷、網(wǎng)站建設(shè)、Google、網(wǎng)站維護(hù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)