因公司目前業(yè)務(wù)量不大,故把elk部在了虛機(jī)上,給予的硬盤空間少的離譜,需一天清一次開測環(huán)境的日志,當(dāng)寫完腳本定時執(zhí)行發(fā)現(xiàn)每天的定時任務(wù)日志是正常的但是第二天發(fā)現(xiàn)索引還在!起初以為是腳本或定時任務(wù)的問題,最后發(fā)現(xiàn)是索引的生成時間有問題,索引默認(rèn)的生成時間是凌晨八點
;而腳本的定時任務(wù)是凌晨四點,肯定是生效了,但是由于還有數(shù)據(jù)寫入就又會生成這個索引;
因為logstash默認(rèn)使用的UTC時間
,我們現(xiàn)在處于的是東八區(qū)CST(CST=UTC+8h)
,也就是UTC時間是比我們慢8個小時的,當(dāng)UTC時間到00:00的時候,會觸發(fā)生成新的索引,這時候我們就已經(jīng)到了08:00;
1、索引的創(chuàng)建時間
或日志寫入es的時間
是根據(jù)默認(rèn)的"@timestamp"字段來創(chuàng)建寫入的,所以直接給"@timestamp"加上8小時即可;這樣,索引生成的時間就是00:00了
filter {date { match =>["log_time", "yyyy-MM-dd HH:mm:ss.SSS"]
target =>"@timestamp"
}
ruby { code =>"event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"
}
ruby { code =>"event.set('@timestamp',event.get('timestamp'))"
}
mutate { remove_field =>["timestamp"]
}
}
}
"@timestamp"
字段的時間+8個小時賦值給新的"timestamp"
字段"timestamp"
字段再賦值給"@timestamp"
字段"timestamp"
字段如下:
修改后觀察第二天索引的創(chuàng)建時間戳已正常改為凌晨00:00
2、還有一點是需要將kibana的顯示時間改為UTC
,默認(rèn)kibana是自動根據(jù)瀏覽器"Browser"
的時間來的,這樣會導(dǎo)致我們現(xiàn)在的時間+8小時;當(dāng)改為UTC后+8h正好符合我們現(xiàn)在的時間
使用kibana的默認(rèn)時間"Browser"
顯示日志如下
可以看出kibana顯示的時間為瀏覽器的時間東八區(qū)時間CST(CST=UTC+8h)
+8h,所以會比我們實際日志產(chǎn)生的時間多了8h,即只需要將kibana的顯示時間改為UTC即可;
kibana7.x修改顯示的時間為UTC:
kibana界??標(biāo)依次點擊如下:
(1)菜單欄;
(2)StackManagement;
(3)Kibana;
(4)高級設(shè)置;kibana6.x修改顯示的時間為UTC:
kibana界??標(biāo)依次點擊如下:
(1)菜單欄;
(2)管理
(3)Kibana;
(4)高級設(shè)置;
kibana修改顯示的時間為UTC格式后,日志如下:
顯示時間一切正常;
簡單來說解決方案就是兩步
(1)把logstash由默認(rèn)的UTC時區(qū)
修改為我們的東八區(qū)CST(CST=UTC+8h)
,也就是把logstash的默認(rèn)"索引的創(chuàng)建時間
或日志寫入es的時間"
+8h
;
(2)將kibana默認(rèn)的瀏覽器時間"Browser"
(東八區(qū))改為UTC時區(qū)
;
你是否還在尋找穩(wěn)定的海外服務(wù)器提供商?創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級流量清洗系統(tǒng)配攻擊溯源,準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性,企業(yè)級服務(wù)器適合批量采購,新人活動首月15元起,快前往官網(wǎng)查看詳情吧
網(wǎng)站欄目:logstash修改es創(chuàng)建索引的時間為凌晨00:00;-創(chuàng)新互聯(lián)
本文URL:http://www.chinadenli.net/article44/dgiihe.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供建站公司、品牌網(wǎng)站設(shè)計、微信公眾號、網(wǎng)站導(dǎo)航、響應(yīng)式網(wǎng)站、軟件開發(fā)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容