作者：未完成交響曲

創(chuàng)新互聯(lián)2013年至今，先為善左等服務(wù)建站，善左等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為善左企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

發(fā)現(xiàn)異常

首先通過我們內(nèi)部搭建的日志平臺(tái)發(fā)現(xiàn)我們線上環(huán)境一個(gè)java應(yīng)用有大量的http接口請求超時(shí)，登錄linux服務(wù)器查看網(wǎng)絡(luò)環(huán)境沒有問題，判斷是應(yīng)用自身運(yùn)行異常，重啟應(yīng)用后發(fā)現(xiàn)異常還在，開始查找問題。

初步查找問題

通過指令：jstat -gcutil 查看jvm內(nèi)存占用和gc情況：

發(fā)現(xiàn)老年代內(nèi)存占用比例過高，并且每次fullGC后并沒有有效回收。老年代內(nèi)存占用百分比變化趨勢大致如下：

初步判斷大量請求超時(shí)和服務(wù)癱瘓的直接原因：
每次fullGC后的內(nèi)存占用越來越高
內(nèi)存占用增長速度越來越快
fullGC的頻率越來越高
最終占用達(dá)到100%，服務(wù)完全癱瘓

分析處理

使用指令：jmap -histo:live *** | more 查看堆內(nèi)存中的對象數(shù)量和大小

發(fā)現(xiàn)Log4jLogEvent這個(gè)對象實(shí)例很多，占用內(nèi)存也異常的大，初步分析是異步日志傳輸速度跟不上，導(dǎo)致日志對象堆積在內(nèi)存中。
嘗試使用調(diào)整Flume傳輸日志參數(shù)：提高flume單次傳輸量，減少最大延遲時(shí)間
重啟應(yīng)用并監(jiān)控接口調(diào)用情況發(fā)現(xiàn)應(yīng)用暫時(shí)恢復(fù)正常了。

后續(xù)分析

在前一步分析內(nèi)存的同時(shí)，使用指令：jmap -dump:format=b,file=heapDump.hprof將實(shí)時(shí)內(nèi)存信息導(dǎo)出（dump過程比較慢，所以在問題暫時(shí)處理完后進(jìn)行后續(xù)分析），使用mat分析內(nèi)存結(jié)構(gòu)：

可以看到主要占據(jù)堆內(nèi)存的對象信息，果然是Flume異步傳輸日志堵塞的問題。

總結(jié)

對jvm內(nèi)存泄露這類問題的解決，主要是要善于利用jvm提供的類似jstat、jmap等工具來分析查找問題。這次問題雖然解決，但是后續(xù)還是存在出現(xiàn)此類問題的風(fēng)險(xiǎn)。所以除了加強(qiáng)jvm問題排查能力的同時(shí)，我們也將建立應(yīng)用監(jiān)控平臺(tái)的計(jì)劃提上日程，希望能對jvm內(nèi)存、線程等應(yīng)用實(shí)時(shí)運(yùn)行指標(biāo)進(jìn)行監(jiān)控，便于盡早發(fā)現(xiàn)問題。

歡迎大家一起交流，喜歡文章記得點(diǎn)個(gè)贊喲，感謝支持！

本文名稱：只需4個(gè)步驟，分析解決在生產(chǎn)環(huán)境下JVM內(nèi)存泄露問題
當(dāng)前網(wǎng)址：http://www.chinadenli.net/article32/jdhhsc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)、網(wǎng)頁設(shè)計(jì)公司、云服務(wù)器、響應(yīng)式網(wǎng)站、網(wǎng)站改版、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)