spark性能優(yōu)化要注意哪幾點，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

創(chuàng)新互聯(lián)長期為1000多家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為杭錦企業(yè)提供專業(yè)的成都網(wǎng)站設(shè)計、成都做網(wǎng)站，杭錦網(wǎng)站改版等技術(shù)服務(wù)。擁有十余年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

一.優(yōu)化方向，序列化

1.官網(wǎng)位置

2.解釋：

默認(rèn)用的是java序列化，但是會很慢，第二種很快，但是不一定能實現(xiàn)所有序列化
第二種，有些自定義類你需要在代碼中注冊（Kryo）

3.StorageLevel.MEMORY_ONLY) 方式存儲代碼

  def main(args: Array[String]) {
    val sparkConf = new SparkConf()
    val sc = new SparkContext(sparkConf)
    val names = Array[String]("G304","G305","G306")
    val genders = Array[String]("male","female")
    val addresses = Array[String]("beijing","shenzhen","wenzhou","hangzhou")
    val infos = new ArrayBuffer[Info]()
    for (i<-1 to 1000000){
      val name = names(Random.nextInt(3))
      val gender = genders(Random.nextInt(2))
      val address = addresses((Random.nextInt(4)))
      infos += Info(name, gender, address)
    }
    val rdd = sc.parallelize(infos)
    rdd.persist(StorageLevel.MEMORY_ONLY_SER)
    rdd.count()
    // rdd.persist(StorageLevel.MEMORY_ONLY)
    sc.stop()
  }
  case class Info(name:String, gender:String, address:String)
}

4.結(jié)果34.3 java序列化默認(rèn)

二.Kyro序列化

1.配置文件位置及配置（spark.serialize）在spark-default.conf

2.代碼

 def main(args: Array[String]) {
    val sparkConf = new SparkConf()
    sparkConf.registerKryoClasses(Array(classOf[Info]))
    val sc = new SparkContext(sparkConf)
    val names = Array[String]("G304","G305","G306")
    val genders = Array[String]("male","female")
    val addresses = Array[String]("beijing","shenzhen","wenzhou","hangzhou")
    val infos = new ArrayBuffer[Info]()
    for (i<-1 to 1000000){
      val name = names(Random.nextInt(3))
      val gender = genders(Random.nextInt(2))
      val address = addresses((Random.nextInt(4)))
      infos += Info(name, gender, address)
    }
    val rdd = sc.parallelize(infos)
    rdd.persist(StorageLevel.MEMORY_ONLY_SER)
    rdd.count()
    // rdd.persist(StorageLevel.MEMORY_ONLY_SER)
    sc.stop()

3.沒注冊情況下截圖

4.官網(wǎng)沒注冊結(jié)果

5.加上一句話，否則所有的東西都要加入變大

sparkConf.registerKryoClasses(Array(classOf[Info]))

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進(jìn)一步的了解或閱讀更多相關(guān)文章，請關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，感謝您對創(chuàng)新互聯(lián)的支持。

當(dāng)前題目：spark性能優(yōu)化要注意哪幾點-創(chuàng)新互聯(lián)
網(wǎng)址分享：http://www.chinadenli.net/article44/dcccee.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機(jī)網(wǎng)站建設(shè)、App開發(fā)、App設(shè)計、標(biāo)簽優(yōu)化、移動網(wǎng)站建設(shè)、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)