摘要：世上有三類(lèi)書(shū)籍：1、介紹知識(shí)，2、闡述理論，3、工具書(shū)；世間也存在兩類(lèi)知識(shí)：1、技術(shù)，2、思想。以下是我在部署ElasticSearch集群時(shí)的經(jīng)驗(yàn)總結(jié)，它們大體屬于第一類(lèi)知識(shí)“techknowledge(技術(shù))”。但其中也穿插一些我個(gè)人的理解。敬請(qǐng)指正。
  關(guān)鍵詞：ElasticSearch, 搜索引擎, 集群, 大數(shù)據(jù), Solr, 大數(shù)據(jù)三類(lèi)書(shū)籍 和 兩類(lèi)知識(shí)：        書(shū)：　　【1】有一些書(shū)是對(duì)某一新知識(shí)領(lǐng)域的介紹，將此知識(shí)領(lǐng)域從頭到尾、從內(nèi)而外剖開(kāi)了分析，吸收這些知識(shí)主要在于“記憶”，（也有“領(lǐng)會(huì)”）。【2】而有一些好書(shū)，往往整本書(shū)就是在闡述一句或幾句話，一個(gè)或數(shù)個(gè)思想，這些就是這本書(shū)最重要的部分，主要在于“領(lǐng)會(huì)”。【3】還有一些書(shū)可能就像是工具，例如字典，遇到問(wèn)題去查就好，主要在“查找”。也有各種類(lèi)型摻雜的書(shū)。這幾類(lèi)書(shū)各有其方向、著重點(diǎn)，閱讀時(shí)方法也不盡相同。   　　知識(shí)：   【1】對(duì)于各種林林總總的技術(shù)，無(wú)論是它的安裝步驟、使用說(shuō)明還是其疑難雜癥，電子書(shū)、在網(wǎng)絡(luò)中的文章及FAQ中總是會(huì)有解決辦法；或者技術(shù)它存有尚未解決的問(wèn)題、待修復(fù)的BUG，也大部分能在網(wǎng)上找到答案，（不能找到的就等你來(lái)發(fā)明和創(chuàng)造了，諾貝爾獎(jiǎng)就靠你咯！）。上面這些都屬于“techknowledge(技術(shù))”的范疇，就像第一類(lèi)或第三類(lèi)書(shū)，主要在于“記憶”或“查找”。【2】可是，還有一些思想上的、認(rèn)知上的東西，網(wǎng)上是很難獲取的，也很不容易表達(dá)清楚，它們應(yīng)該歸類(lèi)于“Thinking(思想)”，像是第二類(lèi)書(shū)籍，重點(diǎn)在于“領(lǐng)會(huì)”。在分享“techknowledge(技術(shù))”的同時(shí)，我更希望把這些“Thinking(思想)”分享出來(lái)。       以下是我在部署ElasticSearch集群時(shí)的經(jīng)驗(yàn)總結(jié)，它們大體屬于第一類(lèi)知識(shí)“techknowledge(技術(shù))”。但其中也穿插一些我個(gè)人的理解。敬請(qǐng)指正。 

---

  

〇、環(huán)境配置

服務(wù)器：3臺(tái)（node1 -> node3）

十多年建站經(jīng)驗(yàn)， 網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站建設(shè)客戶(hù)的見(jiàn)證與正確選擇。創(chuàng)新互聯(lián)公司提供完善的營(yíng)銷(xiāo)型網(wǎng)頁(yè)建站明細(xì)報(bào)價(jià)表。后期開(kāi)發(fā)更加便捷高效，我們致力于追求更美、更快、更規(guī)范。

操作系統(tǒng)：Cent OS 5.6，添加普通用戶(hù)angelwang

ElasticSearch版本：1.7.1

JDK版本：1.8

一、安裝JDK（所有服務(wù)器）

在每臺(tái)服務(wù)器（node1 -> node3）上安裝JDK，安裝過(guò)程略。

以下二至六步可以選取某臺(tái)服務(wù)器執(zhí)行。

二、安裝ElasticSearch

1、下載elasticsearch-1.7.1.tar.gz

2、解壓：[angelwang@node1 ~]$ tar -xf elasticsearch-1.4.2.tar.gz

三、安裝elasticsearch-head插件

 elasticsearch-head是一個(gè)elasticsearch的集群管理工具,它是完全由html5編寫(xiě)的獨(dú)立網(wǎng)頁(yè)程序。

1、聯(lián)網(wǎng)環(huán)境，執(zhí)行下面語(yǔ)句進(jìn)行安裝：

[angelwang@node1 ~]$ ./elasticsearch-1.7.1/bin/plugin -install mobz/elasticsearch-head

2、離線安裝：

[angelwang@node190 ~]$ unzip elasticsearch-head-master.zip

[angelwang@node1 ~]$ mkdir ./elasticsearch-1.7.1/plugins

[angelwang@node1 ~]$ mkdir ./elasticsearch-1.7.1/plugins/head

[angelwang@node1 ~]$ mkdir ./elasticsearch-1.7.1/plugins/head/_site

[angelwang@node1 ~]$ cp -r ~/elasticsearch-head-master/* ./elasticsearch-1.7.1/plugins/head/_site

在執(zhí)行：[angelwang@node190 ~]$ ./elasticsearch-1.7.1/bin/elasticsearch

啟動(dòng)ElasticSearch后，可以通過(guò)訪問(wèn)：http://node1:9200/_plugin/head/，

可以看到如下圖：

四、安裝elasticsearch-sql插件

elasticsearch-sql插件可以做到：Query elasticsearch using familiar SQL syntax. You can also use ES functions in SQL.

執(zhí)行下面語(yǔ)句進(jìn)行安裝：

[angelwang@node1 ~]$ ./bin/plugin -u https://github.com/NLPchina/elasticsearch-sql/releases/download/1.3.5/elasticsearch-sql-1.3.5.zip --install sql

在啟動(dòng)ElasticSearch后，可以通過(guò)訪問(wèn)：http://localhost:9200/_plugin/sql/，

可以看到如下圖：

看到這個(gè)界面你也能想像到它是做什么的了吧？更多的信息可以去 https://github.com/NLPchina/elasticsearch-sql 獲取，當(dāng)然不能通過(guò)elasticsearch-sql把elasticsearch當(dāng)關(guān)系型數(shù)據(jù)庫(kù)用，但畢竟elasticsearch的查詢(xún)語(yǔ)句不如solr那般簡(jiǎn)潔，所以對(duì)于熟悉sql的朋友，這樣拼sql語(yǔ)句也是很方便的吧。此工具的開(kāi)發(fā)者真是體貼。

五、安裝elasticsearch-Bigdesk插件

bigdesk是elasticsearch的一個(gè)集群監(jiān)控工具，可以通過(guò)它來(lái)查看es集群的各種狀態(tài)，如：cpu、內(nèi)存使用情況，索引數(shù)據(jù)、搜索情況，http連接數(shù)等。

1、聯(lián)網(wǎng)環(huán)境

[angelwang@node1 ~]$ ./bin/plugin -install lukas-vlcek/bigdesk

在啟動(dòng)ElasticSearch后，可以通過(guò)訪問(wèn)：http://node1:9200/_plugin/bigdesk/，

可以看到如下圖：

這個(gè)插件使得elasticsearch太直觀了，數(shù)據(jù)在哪、怎么變動(dòng)的、流動(dòng)的過(guò)程都顯示的一清二楚，很酷炫，大贊！為啥Solr沒(méi)有這樣的東東呢？

六、安裝elasticsearch-servicewrapper插件

elasticsearch-servicewrapper插件是ElasticSearch的服務(wù)化插件。

在https://github.com/elasticsearch/elasticsearch-servicewrapper下載該插件后，解壓縮。將service目錄拷貝到elasticsearch目錄的bin目錄下。

而后，可以通過(guò)執(zhí)行以下語(yǔ)句安裝、啟動(dòng)、停止ElasticSearch。（先不要執(zhí)行）

[root@node1 service]# sh elasticsearch install (Must be root to perform this action.)

[root@node1 service]# sh elasticsearch start

[root@node1 service]# sh elasticsearch stop

這個(gè)插件也是實(shí)用的不要不要的。沒(méi)有此插件，有多少人還要寫(xiě)一個(gè)腳本來(lái)開(kāi)機(jī)啟動(dòng)啊。需要的請(qǐng)舉手！

七、將配置好的ElasticSearch拷貝到各服務(wù)器

在一臺(tái)服務(wù)器上執(zhí)行完成步驟二到步驟七后，得到最終的elasticsearch-1.7.1文件夾。將此文件夾打包并scp拷貝到各服務(wù)器。

八、配置ElasticSearch集群

在各服務(wù)器（node1 -> node3）中。

執(zhí)行下面語(yǔ)句對(duì)配置文件elasticsearch.yml中的內(nèi)容進(jìn)行修改：

[angelwang@node1 ~]$ vim elasticsearch-1.7.1/config/elasticsearch.yml

修改elasticsearch.yml后的部分文件內(nèi)容：

################################### Cluster ###################################

# Cluster name identifies your cluster for auto-discovery. If you're running

# multiple clusters on the same network, make sure you're using unique names.

#

cluster.name: elasticsearch_angelwang

 

#################################### Node #####################################

# Node names are generated dynamically on startup, so you're relieved

# from configuring them manually. You can tie this node to a specific name:

#

node.name: "node196"

九、啟動(dòng)ElasticSearch集群

可以通過(guò)執(zhí)行sh elasticsearch start或./elasticsearch語(yǔ)句啟動(dòng)ElasticSearch。

也可以在通過(guò)執(zhí)行[root@node1 service]# sh elasticsearch install后，通過(guò)執(zhí)行：[root@node1 service]# chmod 777  /home/angelwang/elasticsearch-1.7.1/bin/service/elasticsearch，分配給elasticsearch執(zhí)行權(quán)限。執(zhí)行[root@node1 service]# /etc/init.d/elasticsearch start啟動(dòng)ElasticSearch服務(wù)。而后就可以執(zhí)行[root@node1 service]# service elasticsearch start來(lái)啟動(dòng)ElasticSearch了。系統(tǒng)reboot后也能開(kāi)機(jī)啟動(dòng)。

在所有服務(wù)器（node1 -> node3）上的ElasticSearch配置相同的cluster.name后，依次啟動(dòng)各服務(wù)器上的ElasticSearch，便可以通過(guò)bigdesk查看該集群下的所有node狀態(tài)。集群?jiǎn)?dòng)結(jié)束。

十、ElasticSearch集群功能測(cè)試

可以在head頁(yè)面新建索引、刪除索引、數(shù)據(jù)瀏覽、查詢(xún)等操作，新建索引時(shí)需要設(shè)置分片數(shù)、副本數(shù)，可以在bigdesk頁(yè)面進(jìn)行分片及副本的查看。

數(shù)據(jù)均存儲(chǔ)于elasticsearch-1.7.1/data目錄下，以cluster.name進(jìn)行分目錄存儲(chǔ)。下圖說(shuō)明了兩個(gè)cluster.name的存儲(chǔ)方式。

我們對(duì)已啟動(dòng)的（node1 -> node3）上的ElasticSearch進(jìn)行監(jiān)控。下面圖1 -> 圖4是當(dāng)集群中一個(gè)node重啟時(shí)，集群內(nèi)數(shù)據(jù)復(fù)制移動(dòng)的過(guò)程。索引的分片數(shù)為5，副本數(shù)為1。

         

圖1: 三個(gè)node穩(wěn)定后                                           圖2: 關(guān)閉一個(gè)node196

 

       

圖3: 兩個(gè)node穩(wěn)定后                                  圖4: 啟動(dòng)node196，恢復(fù)三個(gè)node穩(wěn)定后

可以通過(guò)上面的操作和形象的圖形，看到宕機(jī)一個(gè)對(duì)這個(gè)集群真是一點(diǎn)關(guān)系都沒(méi)有，數(shù)據(jù)在各服務(wù)器間自如流動(dòng)、分布，各服務(wù)器并無(wú)主次之分，因此ES的可用性真的是很好！

Solr我也用過(guò)很久，我個(gè)人感覺(jué)，ElasticSearch比Solr好就好在有那么多好用的插件可以用，即有形象直觀的顯示，又有方便實(shí)用的工具，真是感謝這些開(kāi)源貢獻(xiàn)者們，沒(méi)有你們就沒(méi)有這么一個(gè)好用的搜索引擎ElasticSearch了，很多的公司業(yè)務(wù)也便無(wú)法開(kāi)展了！當(dāng)然ElasticSearch目前也有不少亟需解決的問(wèn)題，以后有空再聊。

 之前Hbase和Solr使用的較多。最近關(guān)于大數(shù)據(jù)分析我有很多的感悟啊。有關(guān)于搜索引擎的，有關(guān)于分布式存儲(chǔ)的，還有關(guān)于分布式計(jì)算的。有時(shí)間再分享給大家。歡迎大家指正！：） 明天就是十一長(zhǎng)假后的第一天班啦！加油吧 王安琪！

來(lái)自王安琪  作者：Angel 出處：http://www.cnblogs.com/wgp13x/ 歡迎轉(zhuǎn)載或分享，但請(qǐng)務(wù)必聲明文章出處。如果文章對(duì)您有幫助，希望你能推薦或關(guān)注。

王安琪，英文名Angel，南京郵電大學(xué)計(jì)算機(jī)應(yīng)用技術(shù)碩士學(xué)位。 熟悉Java、C#編程語(yǔ)言。專(zhuān)注于WebService、海量數(shù)據(jù)處理、搜索引擎技術(shù)、消息中間件技術(shù)、分布式文件存儲(chǔ)、.NET應(yīng)用程序開(kāi)發(fā)、系統(tǒng)架構(gòu)設(shè)計(jì)。主要從事大數(shù)據(jù)管理系統(tǒng)的研發(fā)，項(xiàng)目經(jīng)理，系統(tǒng)架構(gòu)師，就職于江蘇金陵科技集團(tuán)有限公司。

Email：aitanjupt@hotmail.com

QQ：289770363

當(dāng)前文章：我的ElasticSearch集群部署總結(jié)--大數(shù)據(jù)搜索引擎你不得不知-創(chuàng)新互聯(lián)
本文來(lái)源：http://www.chinadenli.net/article42/djcpec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁(yè)設(shè)計(jì)公司、微信公眾號(hào)、域名注冊(cè)、自適應(yīng)網(wǎng)站、做網(wǎng)站、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)