在過去的 6 年里，本文的作者一直在關(guān)注 Data Eng Weekly（前身是 Hadoop Weekly）…

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)！專注于網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、小程序定制開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了眉縣免費建站歡迎大家使用！

在過去的 6 年里，本文的作者一直在關(guān)注 Data Eng Weekly（前身是 Hadoop Weekly），它是與大數(shù)據(jù)和數(shù)據(jù)工程相關(guān)內(nèi)容的重要來源，涵蓋了非常廣泛的技術(shù)文章、產(chǎn)品公告和行業(yè)新聞。

今年，作者打算將分析 Data Eng 的歸檔內(nèi)容（這些歸檔可追溯到 2013 年 1 月）作為其個人項目，來析過去 6 年中的大數(shù)據(jù)的趨勢和變化。

為此，作者抓取并清理了 290 多期內(nèi)容（使用了 Python 爬蟲），保留了與技術(shù)、新聞和發(fā)布公告相關(guān)的文章片段。接下來，他對文章片段進(jìn)行了一些基本的自然語言處理并應(yīng)用了一些基本的過濾，最后生成關(guān)鍵字和下下列表。

過去七年的主要趨勢

作者繪制了特定關(guān)鍵詞被提及次數(shù)的月滾動平均值，并將它們繪制在同一個圖表上。下面的圖表說明了這些技術(shù)大約在什么時間點變得越來越流行。

Hadoop 與 Spark

從 2013 年 Spark 開始接管 Hadoop 的那一刻起，Hadoop 就開始穩(wěn)步下滑。

Hadoop 與 Kafka

Kafka 成為所有大數(shù)據(jù)技術(shù)棧的主要構(gòu)建塊。

Hadoop 與 Kubernetes

Kubernestes 的崛起，盡管 Data Eng Weekly 并不十分關(guān)注 DevOps，但卻也見證了從 2017 年開始圍繞 Kubernetes 在各個領(lǐng)域的全面

年度熱門關(guān)鍵詞

我只是簡單地畫出在給定年份中被提及次數(shù)最多的 10 個關(guān)鍵詞。

2013 年：Hadoop 的黃金時期！

所有原始的 Hadoop 項目都在這里：HDFS、YARN、MR、PIG……以及兩大主流發(fā)行版 CDH 和 HDP，除此之外別無其他！

2014 年：Spark 的崛起！

Hadoop 總體上延續(xù)了它的統(tǒng)治地位，但 Spark 在這一年推出的第一個版本成為 2014 年最熱門的話題！

2015 年：Kafka 來了！

Spark 取代 Hadoop 的一名位的置，Kafka 進(jìn)入前三。大多數(shù)舊項目（HDFS、YARN、MR、PIG……）都沒有進(jìn)入前十。

2016 年：流式處理火熱！

2016 年是流式處理年，Kafka 取代了 Hadoop 第二名的位置，Spark（流式處理）繼續(xù)占據(jù)主導(dǎo)地位。

2017：一切向流式處理看齊！

與 2016 年的陣容相同，只是加入了 Flink。

2018 年：回到基礎(chǔ)！

Kubernetes 首次亮相，我們回到了基礎(chǔ)，試圖找出如何管理（K8S）、調(diào)度（airflow）和運行（Spark、Kafka、存儲……）我們的流。

2019 年：…

現(xiàn)在對 2019 年給出任何結(jié)論還為時過早，但看起來 K8s 將在 2019 年成為主流！

網(wǎng)頁標(biāo)題：大數(shù)據(jù)領(lǐng)域的六年巨變
地址分享：http://www.chinadenli.net/article28/iioijp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動態(tài)網(wǎng)站、企業(yè)建站、搜索引擎優(yōu)化、小程序開發(fā)、App開發(fā)、網(wǎng)站設(shè)計公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)