里約奧運(yùn)會近日已落下帷幕，它不僅成功霸占了觀眾的社交流量，在話題上也是堪稱現(xiàn)象級的。而這背后，大數(shù)據(jù)的成功運(yùn)用可謂功不可沒。從“虛擬獎牌榜”、“全視氣球”、“水下計時器”、“基于數(shù)據(jù)分析的運(yùn)動員訓(xùn)練方式”到“將寨卡病毒擋在里約奧運(yùn)的大門之外”， 大數(shù)據(jù)驅(qū)動的里約奧運(yùn)會被烙上了獨(dú)特的科技標(biāo)簽。組委會CIO Elly Resende表示，大約有250家科技公司為構(gòu)建整個基礎(chǔ)設(shè)施提供了不同程度的技術(shù)。顯然，“里約印象”的非凡塑造離不開強(qiáng)大IT基礎(chǔ)設(shè)施的支持。

目前創(chuàng)新互聯(lián)公司已為1000多家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)頁空間、網(wǎng)站托管運(yùn)營、企業(yè)網(wǎng)站設(shè)計、特克斯網(wǎng)站維護(hù)等服務(wù)，公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

同樣，對企業(yè)來說，數(shù)據(jù)就像一個神奇的鉆石礦，當(dāng)它的首要價值被發(fā)掘后仍能不斷給予。它的真實(shí)價值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而絕大部分都隱藏在表面之下。實(shí)時分析是當(dāng)今企業(yè)獲得可持續(xù)優(yōu)勢的基石。更快獲取見解并據(jù)此采取行動已日益成為許多企業(yè)成敗的關(guān)鍵。

隨著數(shù)據(jù)的日益增多，企業(yè)需要更快地執(zhí)行分析，這對當(dāng)今的數(shù)據(jù)工作者帶來了巨大挑戰(zhàn)：你應(yīng)該如何快速行動，才能確保對數(shù)據(jù)的見解始終具有價值，而且優(yōu)于你的競爭對手？哪些方面的投資有助于你在這種數(shù)據(jù)劇增的環(huán)境中保持領(lǐng)先地位？

對所有大數(shù)據(jù)戰(zhàn)略來說，軟件必不可少，但僅有軟件是不夠的。各組織對快速實(shí)時決策的需求不斷增長，他們必須借助存儲和內(nèi)存領(lǐng)域的創(chuàng)新來實(shí)現(xiàn)基礎(chǔ)設(shè)施轉(zhuǎn)型，才能滿足這一需求。

總之，基礎(chǔ)設(shè)施確實(shí)至關(guān)重要。為什么呢？這是因為，如果組織不對數(shù)據(jù)采取任何行動，他們就會損失資金，還會錯失競爭機(jī)會。IT 團(tuán)隊有必要對支撐新一代大數(shù)據(jù)解決方案的底層基礎(chǔ)設(shè)施進(jìn)行持續(xù)投資，但這種投資不應(yīng)該僅是購買合適的新硬件。企業(yè)還需要認(rèn)真優(yōu)化和調(diào)整現(xiàn)有硬件系統(tǒng)，確保系統(tǒng)具備充足的性能、容量和吞吐量，加快數(shù)據(jù)處理速度，并推進(jìn)到規(guī)定的分析階段。

當(dāng)然，要想利用大數(shù)據(jù)和先進(jìn)的分析工作負(fù)載（如 Hadoop 和 Spark），各組織需要克服很多困難，其中大的挑戰(zhàn)與底層數(shù)據(jù)有關(guān)。具體來說，就是數(shù)據(jù)的“3 V”：種類 (Variety)、數(shù)據(jù)量 (Volume) 和速度 (Velocity)。數(shù)據(jù)的這三項特征都非常重要，其中速度（即不斷提升的數(shù)據(jù)創(chuàng)建和決策速度）尤為重要。

為什么在優(yōu)化大數(shù)據(jù)時必須要關(guān)注速度呢？這在一定程度上由其他兩個 V（即種類和數(shù)據(jù)量）所致。大數(shù)據(jù)系統(tǒng)捕獲和處理的不僅僅是文本；傳感器、視頻、音頻、社交媒體以及多種多樣的非結(jié)構(gòu)化數(shù)據(jù)都有成為深度分析之瓶頸的潛在可能。當(dāng)然，目前（更不用說將來）龐大的數(shù)據(jù)量會讓這一問題雪上加霜。如果不密切關(guān)注速度以及底層的存儲和內(nèi)存基礎(chǔ)設(shè)施，大數(shù)據(jù)項目將無法發(fā)揮全部潛力，同時會大幅增加企業(yè)的財務(wù)和運(yùn)營成本。

存儲速度更快

在 TechTarget 的購買者中，數(shù)千位來自北美的 IT 決策者在訪談時都表示，他們最希望大數(shù)據(jù)存儲能夠滿足延時、容量和帶寬這幾大存儲功能要求。其中，延遲更是大數(shù)據(jù)計劃必須妥善處理的一大問題。從根本上來說，延遲會損害服務(wù)器處理更大數(shù)據(jù)集的能力，導(dǎo)致工作負(fù)載癱瘓，并使得完成先進(jìn)分析工作負(fù)載的過程更費(fèi)時、代價更高昂。事實(shí)上，延遲比容量或 IOPS 重要得多，對大數(shù)據(jù)和其他先進(jìn)分析工作負(fù)載而言尤其如此。

實(shí)際上，基于幀的陣列（目前的數(shù)據(jù)中心基礎(chǔ)設(shè)施普遍都采用這種配置）采用旋轉(zhuǎn)式硬盤作為存儲介質(zhì)，在功能上已達(dá)到極限。在空間、供電/散熱成本、CPU 周期和存儲容量方面，這已經(jīng)從根本上耗盡了許多數(shù)據(jù)中心的能力。而這又會迫使組織設(shè)立新的數(shù)據(jù)中心，通常要耗費(fèi)數(shù)百萬美元的成本。

因此，這不斷推動著各組織轉(zhuǎn)為使用閃存/固態(tài)存儲。勇于創(chuàng)新的組織正在重新設(shè)計自己的數(shù)據(jù)中心，將存儲從 NAS 設(shè)備和 SAN 上移除，轉(zhuǎn)為使用支持閃存的服務(wù)器。這有助于減輕數(shù)據(jù)中心的擴(kuò)張，減少物理空間占用量，降低供電和散熱成本，并提高整體運(yùn)營效率。

“如果你詢問托管大數(shù)據(jù)的最好方法，大部分的大數(shù)據(jù)倡導(dǎo)者都會微笑著回答：‘當(dāng)然是采用閃存啦！’”存儲行業(yè)分析師 Jon Toigo 表示，“因此，目前，以 Oracle 和 SAP 為首的數(shù)據(jù)庫制造商重新調(diào)整其產(chǎn)品也就不足為奇了。Oracle 和 SAP 的大數(shù)據(jù)設(shè)備采用全套閃存和動態(tài) RAM 來托管其常駐內(nèi)存的數(shù)據(jù)庫。

當(dāng)數(shù)據(jù)科學(xué)家搜索各個數(shù)據(jù)塊以獲取見解時，從 Hadoop 到 Spark 的遷移（無論是兩者間相互協(xié)作，還是用 Spark 替換 Hadoop）已經(jīng)對存儲和內(nèi)存基礎(chǔ)設(shè)施造成了壓力。旋轉(zhuǎn)式硬盤速度過慢，無法跟上提取關(guān)鍵見解所需的迭代機(jī)器學(xué)習(xí)工作流。投資混合陣列最初或許能夠節(jié)約成本，但很可能會導(dǎo)致無法獲取關(guān)鍵見解，因為它們需要等待硬盤找到必要的數(shù)據(jù)。

歸根結(jié)底，組織需要解決延遲問題，才能更快地找到實(shí)時數(shù)據(jù)并進(jìn)行處理。顯然，欺詐檢測、合規(guī)性、電子發(fā)現(xiàn)和企業(yè)監(jiān)管等工作負(fù)載都需要具備“海底撈針”的能力，以防審計失敗或數(shù)據(jù)泄露。但是，面向公眾的應(yīng)用（例如 OLTP、客戶自助服務(wù)、呼叫中心、CRM、供應(yīng)鏈管理和市場營銷自動化）還需要兼具精確度與速度。用于執(zhí)行事務(wù)處理和實(shí)時分析的混合系統(tǒng)正在蓬勃發(fā)展，對它們來說，存儲延遲變得至關(guān)重要。

如果沒有固態(tài)硬盤提供的速度，大數(shù)據(jù)分析就無法為大多數(shù)應(yīng)用提供可持續(xù)的競爭優(yōu)勢。

計算速度更快

要充分利用更快速的存儲系統(tǒng)，關(guān)鍵步驟之一就是確保服務(wù)器的計算中心可以達(dá)到數(shù)據(jù)處理所需的更高利用率。要使服務(wù)器配置達(dá)到性能目標(biāo)，同時又不超出預(yù)算，針對目標(biāo)應(yīng)用和工作負(fù)載均衡選擇 DRAM 至關(guān)重要。

現(xiàn)在，內(nèi)存/存儲分層結(jié)構(gòu)方面出現(xiàn)了一個值得思考的新轉(zhuǎn)折點(diǎn)——持久存儲。顧名思義，持久存儲位于 DRAM 總線上，可提供極低的 DRAM 延遲，同時可確保數(shù)據(jù)持久性。由于存儲總線存在限制，而且閃存需要更多的訪問模式，DRAM 的延遲比速度最快的固態(tài)硬盤低了若干數(shù)量級。

目前，持久存儲解決方案基于 DRAM 和閃存技術(shù)而構(gòu)建，被稱作“非易失性 DIMM”(NVDIMM)。這項新技術(shù)的優(yōu)勢在于，它最終可將關(guān)鍵數(shù)據(jù)（就算是斷電也不能丟失的數(shù)據(jù)）遷移到離處理器盡可能近的位置。有效工作在 DRAM（例如標(biāo)準(zhǔn) DIMM）中完成，但是數(shù)據(jù)可在斷電時快速寫入閃存（電容器或電池系統(tǒng)在足夠長的時間內(nèi)為模組供電，以完成備份任務(wù)）。如果應(yīng)用中有經(jīng)常需要訪問或修改的元數(shù)據(jù)，或者只是應(yīng)用需要確保指定數(shù)據(jù)集實(shí)現(xiàn)盡可能快的速度，那么這是極具吸引力的選擇。

在近期的一篇文章中，一家領(lǐng)先的服務(wù)器 OEM 表示，Microsoft 運(yùn)用范圍極廣的 SQL Server 數(shù)據(jù)庫通過利用 NVDIMM，可將速度提升兩到四倍—性能得到了極大的提升。但是，這一說法最引人注目的一點(diǎn)可能在于，服務(wù)器系統(tǒng)才剛剛開始采用 NVDIMM；如果對操作系統(tǒng)和軟件應(yīng)用進(jìn)行全面優(yōu)化，可以充分利用內(nèi)存總線上的持久數(shù)據(jù)，那么性能將再次獲得大幅提升。不過，NVDIMM 提供的性能優(yōu)勢以及服務(wù)器市場的競爭格局都在快速推動著這些變化。所有希望在數(shù)據(jù)分析領(lǐng)域先人一步的 IT 管理員現(xiàn)在都應(yīng)該考慮如何將時效性最強(qiáng)的任務(wù)遷移到基于 NVDIMM 的持久存儲系統(tǒng)。

評估并選擇一整套適合大數(shù)據(jù)的存儲和內(nèi)存產(chǎn)品組合

現(xiàn)在，針對大數(shù)據(jù)和其他先進(jìn)工作負(fù)載革新和重新調(diào)整數(shù)據(jù)中心基礎(chǔ)設(shè)施非常重要，并且，這一點(diǎn)在未來數(shù)年內(nèi)會變得日益重要，同時也會極具挑戰(zhàn)性。但是，這并不一定意味著需要全盤更換。精明的 IT 決策者正在尋找全新的存儲和內(nèi)存選項，它們既要能順利適應(yīng)舊環(huán)境，又能為針對分析工作負(fù)載進(jìn)行了優(yōu)化的全新基礎(chǔ)設(shè)施奠定基礎(chǔ)。

美光科技是硅基存儲和內(nèi)存解決方案的全球領(lǐng)導(dǎo)者，一直備受業(yè)界贊譽(yù)。其旗下?lián)碛胸S富的固態(tài)硬盤、DRAM 和 NVDIMM 產(chǎn)品系列，對于需要快速、可靠的大數(shù)據(jù)解決方案的基礎(chǔ)設(shè)施管理員來說，美光科技是他們理想的合作伙伴。特別值得一提的是，美光科技提供完整的產(chǎn)品線，可讓大數(shù)據(jù)變?yōu)?ldquo;大而快的數(shù)據(jù)”，而這現(xiàn)已成為以分析為中心的基礎(chǔ)設(shè)施的基礎(chǔ)。

以固態(tài)硬盤為例。在開發(fā)和提供各種適用于全新存儲環(huán)境的固態(tài)硬盤方面，美光科技一直處于領(lǐng)先地位。使用美光閃存解決方案的一個優(yōu)勢在于，該公司非常了解基礎(chǔ)閃存存儲介質(zhì)，因為這個介質(zhì)就是由美光設(shè)計和制造的。

固態(tài)硬盤的密度正在快速增加，并且正在超越傳統(tǒng)硬盤系統(tǒng)。有了這種容量上的跨越，購買閃存存儲比繼續(xù)使用旋轉(zhuǎn)式硬盤更有意義。此外，與基于 SATA 的傳統(tǒng)硬盤相比，基于 SATA 的固態(tài)硬盤的功耗要低得多，這可以極大地吸引注重節(jié)約成本的購買者。

與此同時，美光科技繼續(xù)通過最新的 3D NAND 解決方案在閃存存儲領(lǐng)域突破極限。這項新技術(shù)讓容量變成了之前的三倍。3D NAND 的容量更大、性能更高且能耗要求更低，因此非常適合要求最嚴(yán)苛的分析工作負(fù)載。

DRAM 是美光科技在 30 多年前推出的首款產(chǎn)品，該公司也一直是世界上大的 DRAM 供應(yīng)商之一。美光提供采用各種技術(shù)和外形規(guī)格的 DRAM，并與每個重要的服務(wù)器 OEM 精誠合作。此外，美光還提供一整套非易失性 DIMM，該產(chǎn)品系列兼具 DRAM 的速度和 NAND 閃存的持久存儲優(yōu)勢，如上文所述。

在選擇供應(yīng)商時，了解其長期研發(fā)技能也非常重要。美光科技正在研發(fā)多個存儲和內(nèi)存解決方案，可針對未來的大數(shù)據(jù)工作負(fù)載提供極具吸引力的優(yōu)勢。例如，美光科技的全新 3D XPoint™ 技術(shù)是一種創(chuàng)新型非易失性存儲解決方案；與傳統(tǒng) NAND 技術(shù)相比，它可提供低至 1/1000 的延遲和明顯更高的耐用性，因此非常適合實(shí)時數(shù)據(jù)挖掘和見解獲取。它具有提供非同尋常的新功能的潛力，例如高端企業(yè)級存儲或高容量持久存儲。 

結(jié)論

隨著大數(shù)據(jù)工作負(fù)載在企業(yè)內(nèi)部變得越來越常見且越來越具有戰(zhàn)略性，IT 基礎(chǔ)設(shè)施需要實(shí)現(xiàn)根本性的大發(fā)展。大數(shù)據(jù)為獲得寶貴的新見解帶來了大機(jī)遇，但只有當(dāng)系統(tǒng)能夠快速、可靠地訪問快速擴(kuò)張的龐大數(shù)據(jù)存儲內(nèi)的具體數(shù)據(jù)時，才不會錯失這一機(jī)會。

旋轉(zhuǎn)式硬盤一直是數(shù)十年來存儲基礎(chǔ)設(shè)施內(nèi)的基本組成部分，但面對海量的非結(jié)構(gòu)化數(shù)據(jù)，它們已經(jīng)無法勝任捕獲、索引、解析、報告和處理等工作。各組織正轉(zhuǎn)而使用固態(tài)硬盤和 DRAM 進(jìn)行常駐內(nèi)存的處理，降低嚴(yán)重影響性能的延遲。

要充分利用各種先進(jìn)的分析工作負(fù)載，最佳方法是使用專為大數(shù)據(jù)構(gòu)建的基礎(chǔ)設(shè)施。美光科技的閃存存儲和 DRAM 解決方案已經(jīng)過優(yōu)化，可為新一波的分析解決方案提供所需的低延遲和高 IOPS。此外，美光科技不僅可提供降低延遲和克服瓶頸所需的性能，還幫助組織以更具成本效益的方式部署先進(jìn)的新存儲和內(nèi)存基礎(chǔ)設(shè)施。

憑借在硅基解決方案領(lǐng)域一直以來的領(lǐng)軍地位，以及卓越的研發(fā)聲譽(yù)，美光科技提供可擴(kuò)展的解決方案集，幫助組織實(shí)現(xiàn)實(shí)時數(shù)據(jù)分析、速度、可靠性和性能方面的目標(biāo)。

作者：Brad Spiers（美光科技存儲事業(yè)部首席解決方案架構(gòu)師）

文章名稱：如何應(yīng)對大數(shù)據(jù)雪崩？
本文地址：http://www.chinadenli.net/article26/sdpgcg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開發(fā)、品牌網(wǎng)站建設(shè)、域名注冊、全網(wǎng)營銷推廣、外貿(mào)建站、微信公眾號

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)