如何進(jìn)行Spark性能調(diào)優(yōu)實(shí)戰(zhàn)，針對(duì)這個(gè)問題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡(jiǎn)單易行的方法。

目前創(chuàng)新互聯(lián)建站已為1000+的企業(yè)提供了網(wǎng)站建設(shè)、域名、虛擬主機(jī)、網(wǎng)站托管、服務(wù)器托管、企業(yè)網(wǎng)站設(shè)計(jì)、合山網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。

       Spark特別適用于多次操作特定的數(shù)據(jù)，分mem-only和mem & disk。其中mem-only:效率高，但占用大量的內(nèi)存，成本很高;mem & disk:內(nèi)存用完后，會(huì)自動(dòng)向磁盤遷移，解決了內(nèi)存不足的問題，卻帶來了數(shù)據(jù)的置換的消費(fèi)。Spark常見的調(diào)優(yōu)工具有nman、Jmeter和Jprofile,以下是Spark調(diào)優(yōu)的一個(gè)實(shí)例分析：

1、場(chǎng)景：精確客戶群

對(duì)一個(gè)容量為300g的客戶信息表在spark上進(jìn)行查詢優(yōu)化，該大寬表有1800多列，有效使用的有20列。

2、優(yōu)化達(dá)到的效果：查詢由原來的40.232s降低為2.7s

3、優(yōu)化過程分析

第一步：首先發(fā)現(xiàn)磁盤存在大量的iowait，通過查看相關(guān)日志文件，發(fā)現(xiàn)一個(gè)block的大小進(jìn)而推算出整個(gè)數(shù)據(jù)文件大小為300G整個(gè)內(nèi)存無法容納，采用壓縮的方法實(shí)現(xiàn)優(yōu)化，結(jié)合本數(shù)據(jù)文件的特點(diǎn)，存在大量的0和1，選 Gzip算法進(jìn)行壓縮，壓縮后的大小為1.9G，該步使得查詢從40.232降為了20.12s。

第二步：大寬表存在1800多列，而有效使用的只有20多列，故通過RCFILE只將有效的列加載，該步使得查詢從20s降為12s。

第三步：通過Jprofile分析出CPU的負(fù)載過高，到底是什么原因造成的，仔細(xì)發(fā)現(xiàn)序列化機(jī)制有問題。Spark的serialization框架有兩種：java自身的和kryo的。其中kryo 是一個(gè)快速高效的Java對(duì)象圖形序列化框架,主要特點(diǎn)是性能、高效和易用，換成kryo后，查詢從12s降到7s。

第四步：進(jìn)一步分析CPU各核負(fù)載量很不均勻，內(nèi)存也沒有用滿，系統(tǒng)的資源沒有得到充分利用，該如何利 用？ (1)Spark的RDD的partition個(gè)數(shù)創(chuàng)建task的個(gè)數(shù)是對(duì)應(yīng)的;(2)Partition的個(gè)數(shù)在hadoop的RDD中由block的 個(gè)數(shù)決定的，內(nèi)存：系統(tǒng)總內(nèi)存數(shù)=work內(nèi)存大小*work 數(shù)=SPARK_WORKER_MEMORY*SPARK_WORKER_INSTANCES;

CPU:系統(tǒng)總的task數(shù)=work數(shù)×work所占的cores數(shù)=SPARK_WORKER_INSTANCES*SPARK_WORKER_CORES，計(jì)算task并行度，內(nèi)存分配情況，調(diào)優(yōu)參數(shù)：

SPARK_WORKER_INSTANCES=4

SPARK_WORKER_CORES = 3

SPARK_WORKER_MEMORY = 6G

Cpu(12core)  mem(24G)，通過這幾個(gè)參數(shù)的優(yōu)化，查詢由7s降到5s。

第五步：進(jìn)一步發(fā)現(xiàn)Sharkserver端出現(xiàn)明顯的fullGC,通過調(diào)優(yōu)參數(shù)

Export SHARK_MASTER_MEM=2g,該步由6s降到3sl;

第六步：又發(fā)現(xiàn)當(dāng)兩表關(guān)聯(lián)時(shí)，cpu 出現(xiàn)瓶頸，分析原因是日表做了gzip壓縮，優(yōu)化方法：日表不使用gzip壓縮，將日表做成內(nèi)存表。查詢從3s降到2s。

關(guān)于如何進(jìn)行Spark性能調(diào)優(yōu)實(shí)戰(zhàn)問題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識(shí)。

本文名稱：如何進(jìn)行Spark性能調(diào)優(yōu)實(shí)戰(zhàn)
URL地址：http://www.chinadenli.net/article42/jdjoec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App開發(fā)、軟件開發(fā)、定制開發(fā)、網(wǎng)站排名、小程序開發(fā)、網(wǎng)站營(yíng)銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)