線上FullGC頻繁的排查

問題

前段時(shí)間發(fā)現(xiàn)線上的一個(gè)dubbo服務(wù)Full GC比較頻繁，大約每?jī)商炀蜁?huì)執(zhí)行一次Full GC。

成都創(chuàng)新互聯(lián)公司專注于企業(yè)成都營銷網(wǎng)站建設(shè)、網(wǎng)站重做改版、和平網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、html5、商城網(wǎng)站定制開發(fā)、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)營銷網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為和平等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

Full GC的原因

我們知道Full GC的觸發(fā)條件大致情況有以下幾種情況：

1. 程序執(zhí)行了System.gc() //建議jvm執(zhí)行fullgc，并不一定會(huì)執(zhí)行
2. 執(zhí)行了jmap -histo:live pid命令 //這個(gè)會(huì)立即觸發(fā)fullgc
3. 在執(zhí)行minor gc的時(shí)候進(jìn)行的一系列檢查

   執(zhí)行Minor GC的時(shí)候，JVM會(huì)檢查老年代中大連續(xù)可用空間是否大于了當(dāng)前新生代所有對(duì)象的總大小。
   如果大于，則直接執(zhí)行Minor GC（這個(gè)時(shí)候執(zhí)行是沒有風(fēng)險(xiǎn)的）。
   如果小于了，JVM會(huì)檢查是否開啟了空間分配擔(dān)保機(jī)制，如果沒有開啟則直接改為執(zhí)行Full GC。
   如果開啟了，則JVM會(huì)檢查老年代中大連續(xù)可用空間是否大于了歷次晉升到老年代中的平均大小，如果小于則執(zhí)行改為執(zhí)行Full GC。
   如果大于則會(huì)執(zhí)行Minor GC，如果Minor GC執(zhí)行失敗則會(huì)執(zhí)行Full GC

4. 使用了大對(duì)象 //大對(duì)象會(huì)直接進(jìn)入老年代
5. 在程序中長期持有了對(duì)象的引用 //對(duì)象年齡達(dá)到指定閾值也會(huì)進(jìn)入老年代

對(duì)于我們的情況，可以初步排除1，2兩種情況，最有可能是4和5這兩種情況。為了進(jìn)一步排查原因，我們?cè)诰€上開啟了 -XX:+HeapDumpBeforeFullGC。

注意：
    JVM在執(zhí)行dump操作的時(shí)候是會(huì)發(fā)生stop the word事件的，也就是說此時(shí)所有的用戶線程都會(huì)暫停運(yùn)行。
    為了在此期間也能對(duì)外正常提供服務(wù)，建議采用分布式部署，并采用合適的負(fù)載均衡算法

JVM參數(shù)的設(shè)置：

線上這個(gè)dubbo服務(wù)是分布式部署，在其中一臺(tái)機(jī)子上開啟了 -XX:HeapDumpBeforeFullGC，總體JVM參數(shù)如下：

-Xmx2g 
-XX:+HeapDumpBeforeFullGC 
-XX:HeapDumpPath=. 
-Xloggc:gc.log 
-XX:+PrintGC 
-XX:+PrintGCDetails 
-XX:+PrintGCDateStamps 
-XX:+UseGCLogFileRotation 
-XX:NumberOfGCLogFiles=10 
-XX:GCLogFileSize=100m 
-XX:HeapDumpOnOutOfMemoryError

Dump文件分析

dump下來的文件大約1.8g，用jvisualvm查看，發(fā)現(xiàn)用char[]類型的數(shù)據(jù)占用了41%內(nèi)存，同時(shí)另外一個(gè)com.alibaba.druid.stat.JdbcSqlStat類型的數(shù)據(jù)占用了35%的內(nèi)存，也就是說整個(gè)堆中幾乎全是這兩類數(shù)據(jù)。如下圖：

查看char[]類型數(shù)據(jù)，發(fā)現(xiàn)幾乎全是sql語句。

接下來查看char[]的引用情況：

找到了JdbcSqlStat類，在代碼中查看這個(gè)類的代碼，關(guān)鍵代碼如下：

構(gòu)造函數(shù)只有這一個(gè)
public JdbcSqlStat(String sql){
    this.sql = sql;
    this.id = DruidDriver.createSqlStatId();
}

查看這個(gè)函數(shù)的調(diào)用情況，找到com.alibaba.druid.stat.JdbcDataSourceStat#createSqlStat方法：

public JdbcSqlStat createSqlStat(String sql) {
    lock.writeLock().lock();
    try {
        JdbcSqlStat sqlStat = sqlStatMap.get(sql);
        if (sqlStat == null) {
            sqlStat = new JdbcSqlStat(sql);
            sqlStat.setDbType(this.dbType);
            sqlStat.setName(this.name);
            sqlStatMap.put(sql, sqlStat);
        }

        return sqlStat;
    } finally {
        lock.writeLock().unlock();
    }
}

這里用了一個(gè)map來存放所有的sql語句。

其實(shí)到這里也就知道什么原因造成了這個(gè)問題，因?yàn)槲覀兪褂玫臄?shù)據(jù)源是阿里巴巴的druid，這個(gè)druid提供了一個(gè)sql語句監(jiān)控功能，同時(shí)我們也開啟了這個(gè)功能。只需要在配置文件中把這個(gè)功能關(guān)掉應(yīng)該就能消除這個(gè)問題，事實(shí)也的確如此，關(guān)掉這個(gè)功能后到目前為止線上沒再觸發(fā)FullGC

其他

如果用mat工具查看，建議把 "Keep unreachable objects" 勾上，否則mat會(huì)把堆中不可達(dá)的對(duì)象去除掉，這樣我們的分析也許會(huì)變得沒有意義。如下圖：Window-->References 。另外jvisualvm對(duì)ool的支持不是很好，如果需要oql建議使用mat。

歡迎關(guān)注訂閱號(hào)：

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前名稱：線上FullGC頻繁的排查-創(chuàng)新互聯(lián)
網(wǎng)址分享：http://www.chinadenli.net/article8/ccssip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、面包屑導(dǎo)航、外貿(mào)網(wǎng)站建設(shè)、做網(wǎng)站、網(wǎng)站改版、移動(dòng)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)