本篇內(nèi)容介紹了“ELK日志系統(tǒng)的架構(gòu)是什么”的有關(guān)知識，在實(shí)際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

建網(wǎng)站原本是網(wǎng)站策劃師、網(wǎng)絡(luò)程序員、網(wǎng)頁設(shè)計(jì)師等，應(yīng)用各種網(wǎng)絡(luò)程序開發(fā)技術(shù)和網(wǎng)頁設(shè)計(jì)技術(shù)配合操作的協(xié)同工作。成都創(chuàng)新互聯(lián)專業(yè)提供成都做網(wǎng)站、網(wǎng)站建設(shè),網(wǎng)頁設(shè)計(jì),網(wǎng)站制作(企業(yè)站、自適應(yīng)網(wǎng)站建設(shè)、電商門戶網(wǎng)站)等服務(wù),從網(wǎng)站深度策劃、搜索引擎友好度優(yōu)化到用戶體驗(yàn)的提升,我們力求做到極致!

日志數(shù)據(jù)處理

這么多的日志，運(yùn)維要通過各種手段完成日志的收集、過濾分析、可視化展示，那么如何實(shí)現(xiàn)這些功能呢？

方法很多，例如ELK集成套件（Elasticsearch , Logstash, Kibana）就可以輕松實(shí)現(xiàn)日志數(shù)據(jù)的實(shí)時(shí)收集、分析傳輸以及圖形化展示。

那么要如何使用ELK呢，根據(jù)日志量的不同，對應(yīng)的ELK架構(gòu)也不盡相同，看下面幾個(gè)常見架構(gòu)：

ELK架構(gòu)1

此架構(gòu)主要是將Logstash部署在各個(gè)節(jié)點(diǎn)上搜集相關(guān)日志、數(shù)據(jù)，并經(jīng)過分析、過濾后發(fā)送給遠(yuǎn)端服務(wù)器上的Elasticsearch進(jìn)行存儲。

Elasticsearch再將數(shù)據(jù)以分片的形式壓縮存儲，并提供多種API供用戶查詢、操作。用戶可以通過Kibana Web直觀的對日志進(jìn)行查詢，并根據(jù)需求生成數(shù)據(jù)報(bào)表。

此架構(gòu)的優(yōu)點(diǎn)是搭建簡單，易于上手。缺點(diǎn)是Logstash消耗系統(tǒng)資源比較大，運(yùn)行時(shí)占用CPU和內(nèi)存資源較高。

另外，由于沒有消息隊(duì)列緩存，可能存在數(shù)據(jù)丟失的風(fēng)險(xiǎn)。此架構(gòu)建議供初學(xué)者或數(shù)據(jù)量小的環(huán)境使用。

ELK架構(gòu)2

由此衍生出來了第二種架構(gòu)：

此架構(gòu)主要特點(diǎn)是引入了消息隊(duì)列機(jī)制，位于各個(gè)節(jié)點(diǎn)上的Logstash Agent（一級Logstash，主要用來傳輸數(shù)據(jù)）先將數(shù)據(jù)傳遞給消息隊(duì)列（常見的有Kafka、redis等）。

接著，Logstash server（二級Logstash，主要用來拉取消息隊(duì)列數(shù)據(jù)，過濾并分析數(shù)據(jù)）將格式化的數(shù)據(jù)傳遞給Elasticsearch進(jìn)行存儲。

最后，由Kibana將日志和數(shù)據(jù)呈現(xiàn)給用戶。由于引入了Kafka（或者Redis）緩存機(jī)制，即使遠(yuǎn)端Logstash server因故障停止運(yùn)行，數(shù)據(jù)也不會丟失，因?yàn)閿?shù)據(jù)已經(jīng)被存儲下來了。

此架構(gòu)適合大型集群、海量數(shù)據(jù)的業(yè)務(wù)場景，它通過將前端Logstash Agent替換成filebeat，有效降低了收集日志對業(yè)務(wù)系統(tǒng)資源的消耗。

同時(shí)，消息隊(duì)列使用kafka集群架構(gòu)，有效保障了收集數(shù)據(jù)的安全性和穩(wěn)定性，而后端Logstash和Elasticsearch均采用集群模式搭建，從整體上提高了ELK系統(tǒng)的高效性、擴(kuò)展性和吞吐量。

用大數(shù)據(jù)思維做運(yùn)維監(jiān)控

大數(shù)據(jù)分析最早就來源于運(yùn)維人的日志分析，到逐漸發(fā)展對各種業(yè)務(wù)的分析，人們發(fā)現(xiàn)這些數(shù)據(jù)蘊(yùn)涵著非常大的價(jià)值。

那么如何用大數(shù)據(jù)思維做運(yùn)維呢，大數(shù)據(jù)架構(gòu)上的一個(gè)思維就是：提供一個(gè)平臺讓運(yùn)維方便解決這些問題， 而不是，讓大數(shù)據(jù)平臺去解決出現(xiàn)的問題。

基本的一個(gè)大數(shù)據(jù)運(yùn)維架構(gòu)是這樣的：

對于運(yùn)維的監(jiān)控，利用大數(shù)據(jù)思維，需要分三步走：

獲取需要的數(shù)據(jù)過濾出異常數(shù)據(jù)并設(shè)置告警閥值通過第三方監(jiān)控平臺進(jìn)行告警

所有系統(tǒng)最可靠的就是日志輸出，系統(tǒng)是不是正常，發(fā)生了什么情況，我們以前是出了問題去查日志，或者自己寫個(gè)腳本定時(shí)去分析。現(xiàn)在這些事情都可以整合到一個(gè)已有的平臺上，我們唯一要做的就是定義分析日志的的邏輯。

“ELK日志系統(tǒng)的架構(gòu)是什么”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

新聞名稱：ELK日志系統(tǒng)的架構(gòu)是什么
當(dāng)前地址：http://www.chinadenli.net/article38/gccisp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計(jì)、電子商務(wù)、做網(wǎng)站、企業(yè)網(wǎng)站制作、外貿(mào)網(wǎng)站建設(shè)、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)