這篇文章將為大家詳細(xì)講解有關(guān)Hadoop產(chǎn)品有哪些，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)致力于成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè),成都網(wǎng)站設(shè)計(jì),集團(tuán)網(wǎng)站建設(shè)等服務(wù)標(biāo)準(zhǔn)化，推過標(biāo)準(zhǔn)化降低中小企業(yè)的建站的成本，并持續(xù)提升建站的定制化服務(wù)水平進(jìn)行質(zhì)量交付，讓企業(yè)網(wǎng)站從市場競爭中脫穎而出。 選擇創(chuàng)新互聯(lián)，就選擇了安全、穩(wěn)定、美觀的網(wǎng)站建設(shè)服務(wù)！

    Hadoop系列 常用的項(xiàng)目有，Hadoop , Hive , Pig , HBase , Sqoop , Mahout , Zookeeper , Avro , Ambari , Chukwa , YARN , Hcatalog , Oozie , Cassandra , Hama , Whirr , Flume , Bigtop , Crunch , Hue等等。

各產(chǎn)品介紹：

• Apache Hadoop ： 是Apache開源組織的一個(gè)分布式計(jì)算開源框架，提供了一個(gè)分布式文件系統(tǒng)子項(xiàng)目（HDFS）和支持MapReduce分布式計(jì)算的軟件架構(gòu)。

• Apache Hive ： 是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，通過類SQL語句快速實(shí)現(xiàn)簡單的MapReduce統(tǒng)計(jì)，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計(jì)分析。

• Apache Pig： 是一個(gè)基于Hadoop的大規(guī)模數(shù)據(jù)分析工具，它提供的SQL-LIKE語言叫Pig Latin，該語言的編譯器會把類SQL的數(shù)據(jù)分析請求轉(zhuǎn)換為一系列經(jīng)過優(yōu)化處理的MapReduce運(yùn)算。

•  APache HBase：是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PC server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。

• Apache Sqoop ：是一個(gè)用來將Hadoop和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個(gè)關(guān)系型數(shù)據(jù)庫（MySQL、Oracle、Postgres等）中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫中。

• Apache  Zookeeper：是一個(gè)為分布式應(yīng)用所設(shè)計(jì)的分布的、開源的協(xié)調(diào)服務(wù)，它主要是用來解決分布式應(yīng)用中經(jīng)常遇到的一些數(shù)據(jù)管理問題，簡化分布式應(yīng)用協(xié)調(diào)及其管理的難度，提供高性能的分布式服務(wù)。

• Apache Mahout：是基于Hadoop的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的一個(gè)分布式框架，Mahout用MapReduce實(shí)現(xiàn)了部分?jǐn)?shù)據(jù)挖掘算法，解決了并行挖掘的問題。

• Apache Cassandra：是一套開源分布式NoSql數(shù)據(jù)庫系統(tǒng)。它最初由Facebook開發(fā)，用于儲存簡單格式數(shù)據(jù)，集Google BigTable的數(shù)據(jù)模型與Amazon Dynamo的完全分布大的架構(gòu)于一身。

• Apache Avro：是一個(gè)數(shù)據(jù)序列化系統(tǒng)，設(shè)計(jì)用于支持?jǐn)?shù)據(jù)密集型，大批量數(shù)據(jù)交換的應(yīng)用。Avro是新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機(jī)制。

• Apache Ambari ： 是一種基于Web的工具，支持Hadoop集群的供應(yīng)、管理和監(jiān)控。

• Apache Chukwa：是一個(gè)開源的用于監(jiān)控大型分布式系統(tǒng)的數(shù)據(jù)收集系統(tǒng)，它可以將各種各樣類型的數(shù)據(jù)收集成適合Hadoop處理的文件保存在HDFS中，供Hadoop進(jìn)行各種MapReduce操作。

• Apache Hama ：是一個(gè)基于HDFS的BSP（Bulk Synchronous Parallel）并行計(jì)算框架，Hama可用于包括圖、矩陣和網(wǎng)絡(luò)算法在內(nèi)的大規(guī)模、大數(shù)據(jù)計(jì)算。

• Apache Flume ： 是一個(gè)分布的、可靠的、高可和的海量日志聚合的系統(tǒng)，可用于日志數(shù)據(jù)收集，日志數(shù)據(jù)處理，日志數(shù)據(jù)傳輸。

• Apache Giraph：是一個(gè)可伸縮的分布式迭代圖處理系統(tǒng)，基于Hadoop平臺，靈感來自BSP和Google的Pregel。

• Apache Oozie ：是一個(gè)工作流引擎服務(wù)器，用于管理和協(xié)調(diào)運(yùn)行在Hadoop平臺上（HDFS、Pig和MapReduce）的任務(wù)。

• Apache Crunch：是基于Google的FlumeJava庫編寫的java庫，用于創(chuàng)建MapReduce程序。與Hive,Pig類似，Crunch提供了用于實(shí)現(xiàn)如連接數(shù)據(jù)、執(zhí)行聚合和排序記錄等常見任務(wù)的模式庫。

• Apache Whirr：是一套運(yùn)行于云服務(wù)的類庫（包括Hadoop），可提供高度的互補(bǔ)性。Whirr支持Amazon EC2 和 Rackspace的服務(wù)。

• Apache Bigtop ：是一個(gè)對Hadoop及其周邊生態(tài)進(jìn)行打包，分發(fā)和測試的工具。

• Apache HCatalog：是基于Hadoop的數(shù)據(jù)表和存儲管理，實(shí)現(xiàn)中內(nèi)的元數(shù)據(jù)和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供關(guān)系視圖。

• Cloudera Hue：是一個(gè)基于WEB的監(jiān)控和管理系統(tǒng)，實(shí)現(xiàn)對HDFS、MapReduce、YARN、HBase、Hive、Pig的web化操作和管理。

關(guān)于“Hadoop產(chǎn)品有哪些”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯(cuò)，請把它分享出去讓更多的人看到。

名稱欄目：Hadoop產(chǎn)品有哪些
文章位置：http://www.chinadenli.net/article36/gcccsg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、關(guān)鍵詞優(yōu)化、微信小程序、定制網(wǎng)站、做網(wǎng)站、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)