這篇文章主要為大家展示了“如何使用Twitter Storm處理實(shí)時(shí)的大數(shù)據(jù)”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“如何使用Twitter Storm處理實(shí)時(shí)的大數(shù)據(jù)”這篇文章吧。

創(chuàng)新互聯(lián)專注于襄垣企業(yè)網(wǎng)站建設(shè),成都響應(yīng)式網(wǎng)站建設(shè),商城網(wǎng)站建設(shè)。襄垣網(wǎng)站建設(shè)公司,為襄垣等地區(qū)提供建站服務(wù)。全流程按需制作，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)

怎樣使用 Twitter Storm 處理實(shí)時(shí)的大數(shù)據(jù)

Hadoop(大數(shù)據(jù)分析領(lǐng)域無可爭(zhēng)辯的王者)專注于批處理。這種模型對(duì)許多情形(比如為網(wǎng)頁建立索引)已經(jīng)足夠，但還存在其他一些使用模型，它們 需要來自高度動(dòng)態(tài)的來源的實(shí)時(shí)信息。為了解決這個(gè)問題，就得借助 Nathan Marz 推出的 Storm(現(xiàn)在在 Twitter 中稱為 BackType)。Storm 不處理靜態(tài)數(shù)據(jù)，但它處理預(yù)計(jì)會(huì)連續(xù)的流數(shù)據(jù)。考慮到 Twitter 用戶每天生成 1.4 億條推文 (tweet)，那么就很容易看到此技術(shù)的巨大用途。

但 Storm 不只是一個(gè)傳統(tǒng)的大數(shù)據(jù)分析系統(tǒng)：它是復(fù)雜事件處理 (CEP) 系統(tǒng)的一個(gè)示例。CEP 系統(tǒng)通常分類為計(jì)算和面向檢測(cè)，其中每個(gè)系統(tǒng)都可通過用戶定義的算法在 Storm 中實(shí)現(xiàn)。舉例而言，CEP 可用于識(shí)別事件洪流中有意義的事件，然后實(shí)時(shí)地處理這些事件。

Nathan Marz 提供了在 Twitter 中使用 Storm 的大量示例。一個(gè)最有趣的示例是生成趨勢(shì)信息。Twitter 從海量的推文中提取所浮現(xiàn)的趨勢(shì)，并在本地和國(guó)家級(jí)別維護(hù)它們。這意味著當(dāng)一個(gè)案例開始浮現(xiàn)時(shí)，Twitter 的趨勢(shì)主題算法就會(huì)實(shí)時(shí)識(shí)別該主題。這種實(shí)時(shí)算法在 Storm 中實(shí)現(xiàn)為 Twitter 數(shù)據(jù)的一種連續(xù)分析。

什么是 “大數(shù)據(jù)”?

大數(shù)據(jù) 指的是海量無法通過傳統(tǒng)方式管理的數(shù)據(jù)。互聯(lián)網(wǎng)范圍的數(shù)據(jù)正在推動(dòng)能夠處理這類新數(shù)據(jù)的新架構(gòu)和應(yīng)用程序的創(chuàng)建。這些架構(gòu)高度可擴(kuò)展，且能夠跨無限多的服務(wù)器并行、高效地處理數(shù)據(jù)。

大數(shù)據(jù)實(shí)現(xiàn)

Hadoop 的核心是使用 Java? 語言編寫的，但支持使用各種語言編寫的數(shù)據(jù)分析應(yīng)用程序。新的應(yīng)用程序的實(shí)現(xiàn)采用了更加深?yuàn)W的路線，以充分利用現(xiàn)代語言和它們的特性。例如，位于伯克利 的加利福尼亞大學(xué) (UC) 的 Spark 是使用 Scala 語言實(shí)現(xiàn)的，而 Twitter Storm 是使用 Clojure(發(fā)音同 closure)語言實(shí)現(xiàn)的。

Clojure 是 Lisp 語言的一種現(xiàn)代方言。類似于 Lisp，Clojure 支持一種功能性編程風(fēng)格，但 Clojure 還引入了一些特性來簡(jiǎn)化多線程編程(一種對(duì)創(chuàng)建 Storm 很有用的特性)。Clojure 是一種基于虛擬機(jī) (VM) 的語言，在 Java 虛擬機(jī)上運(yùn)行。但是，盡管 Storm 是使用 Clojure 語言開發(fā)的，您仍然可以在 Storm 中使用幾乎任何語言編寫應(yīng)用程序。所需的只是一個(gè)連接到 Storm 的架構(gòu)的適配器。已存在針對(duì) Scala、JRuby、Perl 和 PHP 的適配器，但是還有支持流式傳輸?shù)?Storm 拓?fù)浣Y(jié)構(gòu)中的結(jié)構(gòu)化查詢語言適配器。

怎樣使用 Twitter Storm 處理實(shí)時(shí)的大數(shù)據(jù)

Storm 的關(guān)鍵屬性

Storm 實(shí)現(xiàn)的一些特征決定了它的性能和可靠性的。Storm 使用 ZeroMQ 傳送消息，這就消除了中間的排隊(duì)過程，使得消息能夠直接在任務(wù)自身之間流動(dòng)。在消息的背后，是一種用于序列化和反序列化 Storm 的原語類型的自動(dòng)化且高效的機(jī)制。

Storm 的一個(gè)最有趣的地方是它注重容錯(cuò)和管理。Storm 實(shí)現(xiàn)了有保障的消息處理，所以每個(gè)元組都會(huì)通過該拓?fù)浣Y(jié)構(gòu)進(jìn)行全面處理;如果發(fā)現(xiàn)一個(gè)元組還未處理，它會(huì)自動(dòng)從噴嘴處重放。Storm 還實(shí)現(xiàn)了任務(wù)級(jí)的故障檢測(cè)，在一個(gè)任務(wù)發(fā)生故障時(shí)，消息會(huì)自動(dòng)重新分配以快速重新開始處理。Storm 包含比 Hadoop 更智能的處理管理，流程會(huì)由監(jiān)管員來進(jìn)行管理，以確保資源得到充分使用。

Storm 模型

Storm 實(shí)現(xiàn)了一種數(shù)據(jù)流模型，其中數(shù)據(jù)持續(xù)地流經(jīng)一個(gè)轉(zhuǎn)換實(shí)體網(wǎng)絡(luò)(參見 圖 1)。一個(gè)數(shù)據(jù)流的抽象稱為一個(gè)流，這是一個(gè)無限的元組序列。元組就像一種使用一些附加的序列化代碼來表示標(biāo)準(zhǔn)數(shù)據(jù)類型(比如整數(shù)、浮點(diǎn)和字節(jié)數(shù)組)或用戶定義類型的結(jié)構(gòu)。每個(gè)流由一個(gè)惟一 ID 定義，這個(gè) ID 可用于構(gòu)建數(shù)據(jù)源和接收器 (sink) 的拓?fù)浣Y(jié)構(gòu)。流起源于噴嘴，噴嘴將數(shù)據(jù)從外部來源流入 Storm 拓?fù)浣Y(jié)構(gòu)中。

以上是“如何使用Twitter Storm處理實(shí)時(shí)的大數(shù)據(jù)”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

當(dāng)前文章：如何使用TwitterStorm處理實(shí)時(shí)的大數(shù)據(jù)-創(chuàng)新互聯(lián)
文章路徑：http://www.chinadenli.net/article0/dhisoo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁設(shè)計(jì)公司、標(biāo)簽優(yōu)化、服務(wù)器托管、動(dòng)態(tài)網(wǎng)站、營(yíng)銷型網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)