你是否曾經(jīng)進行過網(wǎng)絡(luò)滲透測試，其范圍如此之大，以至于最終會得到包含Nmap掃描結(jié)果在內(nèi)的數(shù)十個文件，而每個文件又包含多個主機？ 如果答案是肯定的，那你應(yīng)該會對這篇博文感興趣。

創(chuàng)新互聯(lián)專注于芒康企業(yè)網(wǎng)站建設(shè),自適應(yīng)網(wǎng)站建設(shè),商城建設(shè)。芒康網(wǎng)站建設(shè)公司,為芒康等地區(qū)提供建站服務(wù)。全流程按需策劃，專業(yè)設(shè)計，全程項目跟蹤，創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)

以下是我最近進行的一個工作，旨在找到一種方法來對滲透測試的結(jié)果進行分類，同時實現(xiàn)團隊成員之間的并發(fā)協(xié)作。 我們將會看到，在解析和分析數(shù)據(jù)時，使用傳統(tǒng)的“防御性”工具進行攻擊性安全數(shù)據(jù)分析比傳統(tǒng)的grep更具優(yōu)勢。

最后，這個工程的所有源代碼大家可以在github上下載，我也希望這能夠給后面將和我有一個需求的老哥們有所幫助： https://github.com/marco-lancini/docker_offensive_elk .

當(dāng)前所能選擇的

如果你還在閱讀這篇文章，說明你想要摒棄原來基于grep的方法，但是我們有什么替代品嗎？
我首先瀏覽了我一直忽略的東西：Nmap HTML報告。 我不知道有多少人知道并實際使用它，但確實可以從Nmap獲取XML輸出文件并將其傳遞給XML處理器（如xsltproc），將其轉(zhuǎn)換為HTML文件，如下圖所示：

如果對此感興趣，可以在Nmap網(wǎng)站上找到獲取此信息的完整流程。 但是，我認為這種方法有一些缺陷。 首先，除非使用—webxml開關(guān)啟動Nmap，否則必須拋出每個輸出文件以替換XSL樣式表引用，以使其指向當(dāng)前計算機上nmap.xsl文件的確切位置。 其次，更重要的是，這沒有擴展。

放棄了HTML的辦法后，我想起來我的前同事Vincent Yiu的一篇博客，利用Splunk進行攻擊性操作。 這是一個有趣的想法，因為我們越來越多地看到人們也使用所謂的“防御”工具進行攻擊。 Splunk絕對不適合我（因為我沒有l(wèi)icense），但經(jīng)過一些研究后我終于偶然發(fā)現(xiàn)了這篇博客文章：“ Nmap + Logstash to Gain Insight Into Your Network ”。

我之前聽說過ELK（下面有更多內(nèi)容介紹ELK），但我從未真正了解過它，可能是因為我把它歸類為主要由SOC分析師使用的“防御”工具。 而它引起我注意的是上面的博客文章解釋了如何：
“直接將Nmap掃描結(jié)果導(dǎo)入Elasticsearch，然后您可以使用Kibana將其可視化”。

ELK Stack的介紹

那么，ELK Stack是什么？ “ELK”是三個開源項目的首字母縮寫：Elasticsearch，Logstash和Kibana。 Elasticsearch是一個搜索和分析引擎。 Logstash是一個服務(wù)器端數(shù)據(jù)處理管道，它同時從多個源中提取數(shù)據(jù)，對其進行轉(zhuǎn)換，然后將其發(fā)送到像Elasticsearch這樣的“存儲”。 Kibana允許用戶使用Elasticsearch中的圖表和圖形可視化數(shù)據(jù)。

我不會詳細解釋這個堆棧的不同組件，但對于有興趣的人我強烈推薦 “ The Complete Guide to the ELK Stack ”，它給出了堆棧及其三個主要組件的非常好的概述（可以跳過“安裝ELK”部分，因為我們將采取不同的方法）。

我感興趣的部分是Elasticsearch如何不僅可以用于檢測（防御），還可以用于進攻。

安裝

以下是一個完整的演示，一直到最后安裝成功。對這個不感興趣的同學(xué)可以直接跳到“操作數(shù)據(jù)”部分。

首先我們將使用由 @deviantony 完成的一個很棒的存儲庫，這將允許我們在幾秒鐘內(nèi)啟動完整的ELK堆棧，這要歸功于docker-compose：

克隆存儲庫后，我們可以從docker-compose.yml文件中看到將啟動三個服務(wù)。 這是修改后的docker-compose.yml文件，我在其中添加了容器名稱（為了清楚起見）和一種Elasticsearch存儲數(shù)據(jù)的方式，即使在刪除其容器之后，通過在主機上安裝卷來保存數(shù)據(jù)（./_data/elasticsearch:/USR/共享/ elasticsearch/數(shù)據(jù)）：

docker-elk ? cat docker-compose.yml
version: ‘2’
services:

# -------------------------------------------------------------------# ELASTICSEARCH# -------------------------------------------------------------------
  elasticsearch:
      container_name: elk_elasticsearch    build: elasticsearch/    volumes:
        - ./elasticsearch/config/elasticsearch.yml:  /usr/share/elasticsearch/config/elasticsearch.yml:ro
        - ./_data/elasticsearch:/usr/share/elasticsearch/data    ports:
        - "9200:9200"
        - "9300:9300"
    environment:
        ES_JAVA_OPTS: "-Xmx256m -Xms256m"
    networks:
        - elk# -------------------------------------------------------------------# LOGSTASH# -------------------------------------------------------------------logstash:
    container_name: elk_logstash    build: logstash/    volumes:
        - ./logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml:ro
        - ./logstash/pipeline:/usr/share/logstash/pipeline:ro    ports:
        - "5000:5000"
    environment:
        LS_JAVA_OPTS: "-Xmx256m -Xms256m"
    networks:
        - elk    depends_on:
        - elasticsearch# -------------------------------------------------------------------# KIBANA# -------------------------------------------------------------------
  kibana:
      container_name: elk_kibana    build: kibana/    volumes:
        - ./kibana/config/:/usr/share/kibana/config:ro
    ports:
        - "5601:5601"
    networks:
        - elk    depends_on:
        - elasticsearchnetworks:
    elk:
    driver: bridge

默認情況下，堆棧開放以下端口：

5000：Logstash TCP輸入
9200：Elasticsearch HTTP
9300：Elasticsearch TCP傳輸
5601：Kibana

用幾秒鐘時間來安裝Kibana，然后在web頁面上訪問它： http://localhost:5601 .

準備Elasticsearch以獲取Nmap結(jié)果

對于一個完整的ELK新手來說，這是一個挑戰(zhàn)，直到我找到以下帖子：“ How to Index NMAP Port Scan Results into Elasticsearch
”。 這不是一個完整的解決方案，而是一個很好的起點。 讓我們從那里開始并以此為基礎(chǔ)。

首先，我們需要Logstash Nmap編解碼器插件。 Logstash編解碼器簡單地提供了一種指定原始數(shù)據(jù)應(yīng)如何解碼的方法，而不管源是什么。 這意味著我們可以使用Nmap編解碼器從各種輸入中讀取Nmap XML。 在將數(shù)據(jù)傳遞給Nmap編解碼器之前，我們可以從消息隊列或通過syslog讀取它。 幸運的是，添加它就像修改位于logstash / Dockerfile的Logstash Dockerfile一樣簡單：
docker-elk ? cat logstash/Dockerfile

 # https://github.com/elastic/logstash-docker
 FROM docker.elastic.co/logstash/logstash-oss:6.3.0
 # Add your logstash plugins setup here # Example: RUN logstash-plugin install logstash-filter-json
 RUN logstash-plugin install logstash-codec-nmap

接下來，要將其放入Elasticsearch，我們需要創(chuàng)建一個映射。 可以從Logstash Nmap編解碼器的Github存儲庫獲得映射模板。 我們可以下載它并將其放在logstash / pipeline / elasticsearch_nmap_template.json中：

最后，我們需要修改位于logstash / pipeline / logstash.conf的logstash配置文件，以便為新的Nmap插件添加過濾器和輸出選項：

準備攝取者服務(wù)

我們將使用修改后的VulntoES版本來獲取結(jié)果并將它們導(dǎo)入Elasticsearch。 為了做到這一點，我創(chuàng)建了一個新的文件夾攝取器，用于實際攝取數(shù)據(jù)的新服務(wù)。

在上面的清單中，文件夾攝取器包含：

? VulntoES，原始腳本的修改版本，修復(fù)了一些解析錯誤
? 腳本提取將為放置在容器的/ data文件夾中的每個XML文件運行VulntoES.py（更多內(nèi)容見下文）

? Dockerfile將修改后的VulntoES導(dǎo)入到python：2.7-stretch圖像中

我們現(xiàn)在只需要將這個新容器添加到docker-compose.yml文件中：

請注意我們?nèi)绾卧诼窂? data /下的容器中映射本地文件夾./_data/nmap。 我們將使用此“共享”文件夾來傳遞Nmap結(jié)果。

在所有這些修改之后，這就是您的項目文件夾的樣子：

完成后，請確保使用docker-compose build命令重建圖像。

創(chuàng)建索引

最后一步是創(chuàng)建一個索引，用于將數(shù)據(jù)索引到：
1、使用curl創(chuàng)建nmap-vuln-to-es索引：

curl -XPUT ‘localhost:9200/nmap-vuln-to-es’

2、在瀏覽器中打開Kibana（http：// localhost：5601），您將看到以下屏幕：

3、插入nmap *作為索引模式，然后按“下一步”：

選擇“I don’t want to use the Time Filter”, 然后點擊 “Create Index Pattern”:

如果一切順利，您應(yīng)該看到一個頁面，其中列出了nmap *索引中的每個字段以及Elasticsearch記錄的字段的相關(guān)核心類型。

操作數(shù)據(jù)

Elk正確配置完后，我們可以用它來玩玩處理數(shù)據(jù)了。

獲取Nmap結(jié)果

為了能夠獲取我們的Nmap掃描，我們必須以XML格式的報告（-oX）輸出結(jié)果，該報告可以由Elasticsearch解析。 完成掃描后，將報告放在./_data/nmap/文件夾中并運行攝取器：

分析數(shù)據(jù)

現(xiàn)在我們已經(jīng)導(dǎo)入了一些數(shù)據(jù)，現(xiàn)在是時候開始研究一下Kibana的功能了。

“dicover”視圖將索引中的所有數(shù)據(jù)顯示為文檔表，并允許以交互方式瀏覽數(shù)據(jù)：我們可以訪問與所選索引模式匹配的每個索引中的每個文檔。 你可以提交搜索查詢，過濾搜索結(jié)果以及查看文檔數(shù)據(jù)。 還可以查看與搜索查詢匹配的文檔數(shù)量并獲取字段值統(tǒng)計信息。 通過過濾（例如，通過開放端口或服務(wù)）來對目標進行分類是很好的。

相反，“Dashboard”視圖顯示可視化和搜索的集合。 您可以排版，調(diào)整大小和編輯儀表板內(nèi)容，然后保存儀表板以便共享。 這可用于創(chuàng)建高度自定義的數(shù)據(jù)概覽。

儀表板本身是交互式的：您可以應(yīng)用過濾器來查看實時更新的可視化以反映查詢的內(nèi)容（在下面的示例中，我按端口22過濾）。

對這個感興趣的同學(xué)，我將我的示例儀表板導(dǎo)出到一個易于重新導(dǎo)入的json文件中：
?  https://raw.githubusercontent.com/marco-lancini/docker_offensive_elk/master/kibana/dashboard.json

結(jié)論

傳統(tǒng)的“防御性”工具可以有效地用于攻擊性安全數(shù)據(jù)分析，幫助您的團隊協(xié)作并對掃描結(jié)果進行分類。
特別的，Elasticsearch提供了聚合不同數(shù)據(jù)源的數(shù)量的機會，使用統(tǒng)一的接口進行查詢，目的是從大量未分類的數(shù)據(jù)中提取可操作的知識。

本文轉(zhuǎn)載自“安全客”翻譯文章，原文來源：marcolancini.it ，原文編輯：邊邊

網(wǎng)頁名稱：利用ELK協(xié)助安全性攻擊的數(shù)據(jù)分析-創(chuàng)新互聯(lián)
分享地址：http://www.chinadenli.net/article32/dhchsc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、商城網(wǎng)站、面包屑導(dǎo)航、品牌網(wǎng)站設(shè)計、網(wǎng)站設(shè)計公司、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)