ElasticSearch實戰系列一: ElasticSearch集羣+Kinaba安裝教程

前言

本文主要介紹的是ElasticSearch集羣和kinaba的安裝教程。

ElasticSearch介紹

ElasticSearch是一個基於Lucene的搜索服務器，其實就是對Lucene進行封裝，提供了 REST API 的操作接口.
ElasticSearch作爲一個高度可拓展的開源全文搜索和分析引擎，可用於快速地對大數據進行存儲，搜索和分析。
ElasticSearch主要特點：分佈式、高可用、異步寫入、多API、面向文檔 。
ElasticSearch核心概念：近實時，集羣，節點（保存數據），索引，分片（將索引分片），副本（分片可設置多個副本） 。它可以快速地儲存、搜索和分析海量數據。 ElasticSearch使用案例:維基百科、Stack Overflow、Github 等等。

ElasticSearch集羣安裝

一、環境選擇

ElasticSearch集羣安裝依賴JDK，本文的ElasticSearch版本爲6.5.4，對應的Kibana也是6.5.4，這裏順便說下Kibana的版本最好不要低於ElasticSearch的版本，JDK的版本爲1.8。

下載地址:

ElasticSearch-6.5.4: https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.tar.gz

Kibana-6.5.4: https://artifacts.elastic.co/downloads/kibana/kibana-6.5.4-linux-x86_64.tar.gz

JDK1.8 : http://www.oracle.com/technetwork/java/javase/downloads

ElasticSearch有幾個重要的節點屬性，主節點、數據節點、查詢節點、攝取節點，其中主節點、數據節點最重要的，因此本文就只主要介紹這兩個節點的安裝，剩下的節點屬性在配置文件那塊進行說明。

ElasticSearch集羣安裝表格:

二、Linux配置

在安裝ElasticSearch之前，我們需要對Linux的環境做一些調整，防止在後續過程中出現一些問題！

1、修改最大內存限制

修改sysctl.conf文件

vim /etc/sysctl.conf

在末尾增加如下配置:

vm.max_map_count = 655360
vm.swappiness=1

然後保存退出，輸入以下命令使其生效

   sysctl -p

保存退出，輸入以下命令執行使其生效

  sysctl -p

使用命令查看:

tail -3 /etc/sysctl.conf

2、修改最大線程個數

修改90-nproc.conf文件

  vim /etc/security/limits.d/90-nproc.conf 

注:不同的linux服務器90-nproc.conf可能文件名不一樣，建議先在/etc/security/limits.d/查看文件名確認之後再來進行更改。

將下述的內容

   soft nproc 2048

修改爲

  soft nproc 4096

使用命令查看:

tail -3 /etc/security/limits.d/90-nproc.conf

3、修改最大打開文件個數

修改limits.conf

vim /etc/security/limits.conf

在末尾添加如下內容:

hard nofile 65536
soft nofile 65536

4、防火牆關閉

說明:其實可以不關閉防火牆，進行權限設置，但是爲了方便訪問，於是便關閉了防火牆。每個機器都做！！！

關閉防火牆的命令
CentOS 6
查詢防火牆狀態:
[root@localhost ~]# service iptables status
停止防火牆:
[root@localhost ~]# service iptables stop
啓動防火牆:
[root@localhost ~]# service iptables start
重啓防火牆:
[root@localhost ~]# service iptables restart
永久關閉防火牆:
[root@localhost ~]# chkconfig iptables off
永久關閉後啓用:
[root@localhost ~]# chkconfig iptables on

CentOS 7
關閉防火牆
systemctl stop firewalld.service

三、JDK安裝

1，文件準備

解壓下載下來的JDK
tar -xvf jdk-8u144-linux-x64.tar.gz
移動到opt/java文件夾中，沒有就新建，然後將文件夾重命名爲jdk1.8

mv  jdk1.8.0_144 /opt/java
mv  jdk1.8.0_144  jdk1.8

2，環境配置

首先輸入 java -version
查看是否安裝了JDK，如果安裝了，但版本不適合的話，就卸載

輸入

rpm -qa | grep java 

查看信息

然後輸入:

rpm -e --nodeps “你要卸載JDK的信息”
如: rpm -e --nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64

確認沒有了之後，解壓下載下來的JDK

tar  -xvf   jdk-8u144-linux-x64.tar.gz

移動到opt/java文件夾中，沒有就新建，然後將文件夾重命名爲jdk1.8。

mv  jdk1.8.0_144 /opt/java
mv  jdk1.8.0_144  jdk1.8

然後編輯 profile 文件，添加如下配置
輸入: vim /etc/profile

export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=.:${JAVA_HOME}/bin:$PATH

添加成功之後，輸入:

source /etc/profile

使配置生效，然後查看版本信息輸入:

java  -version 

四、ElasticSearch安裝

1，文件準備

將下載好的elasticsearch文件解壓

輸入:

tar -xvf elasticsearch-6.5.4.tar.gz

然後移動到/opt/elk文件夾 裏面，沒有該文件夾則創建,然後將文件夾重命名爲masternode.

在/opt/elk輸入:

mv elasticsearch-6.5.4 /opt/elk
mv  elasticsearch-6.5.4  masternode

2，配置修改

因爲elasticsearch需要在非root的用戶下面操作，並且elasticsearch的文件夾的權限也爲非root權限， 因此我們需要創建一個用戶進行操作，我們創建一個elastic用戶，並賦予該目錄的權限。
命令如下:

adduser elastic
chown -R elastic:elastic  /opt/elk/masternode

這裏我們順便再來指定ElasticSearch數據和日誌存放的路徑地址，我們可以先使用df -h命令查看當前系統的盤主要的磁盤在哪，然後在確認數據和日誌存放的路徑，如果在/home 目錄下的話，我們就在home目錄下創建ElasticSearch數據和日誌的文件夾，這裏爲了區分嗎，我們可以根據不同的節點創建不同的文件夾。這裏的文件夾創建用我們剛剛創建好的用戶去創建，切換到elastic用戶，然後創建文件夾。

su elastic    
mkdir  /home/elk
mkdir  /home/elk/masternode
mkdir  /home/elk/masternode/data
mkdir  /home/elk/masternode/logs
mkdir  /home/elk/datanode1
mkdir  /home/elk/datanode1/data
mkdir  /home/elk/datanode1/logs

主節點(master)配置

創建成功之後，我們先修改masternode節點的配置，修改完成之後在同級目錄進行copy一下，名稱爲datanode1，然後只需少許更改datanode節點的配置即可。這裏我們要修改elasticsearch.yml和jvm.options文件即可！ 注意這裏還是elastic用戶！

 cd /opt/elk/
vim masternode/config/elasticsearch.yml
vim masternode/config/jvm.options

masternode的elasticsearch.yml文件配置如下:

cluster.name: pancm
node.name: master
path.data: /home/elk/masternode/data
path.logs: /home/elk/masternode/logs
network.host: 0.0.0.0
network.publish_host: 192.169.0.23
transport.tcp.port: 9301
http.port: 9201
discovery.zen.ping.unicast.hosts: ["192.169.0.23:9301","192.169.0.24:9301","192.169.0.25:9301"]
node.master: true 
node.data: false
node.ingest: false 
index.number_of_shards: 5
index.number_of_replicas: 1
discovery.zen.minimum_master_nodes: 1
bootstrap.memory_lock: true
http.max_content_length: 1024mb

elasticsearch.yml文件參數配置說明:

• cluster.name: 集羣名稱，同一集羣的節點配置應該一致。es會自動發現在同一網段下的es，如果在同一網段下有多個集羣，就可以用這個屬性來區分不同的集羣。

• node.name: 該節點的名稱。 path.data: 數據存放的路徑。 path.logs: 日誌存放的路徑。

• network.host: 設置ip地址，可以是ipv4或ipv6的，默認爲0.0.0.0。

• network.publish_host: 設置其它節點和該節點交互的ip地址，如果不設置它會自動判斷，值必須是個真實的ip地址。

• transport.tcp.port:設置節點間交互的tcp端口，默認是9300。

• http.port:設置對外服務的http端口，默認爲9200。

• discovery.zen.ping.unicast.hosts: 設置集羣中master節點的初始列表，可以通過這些節點來自動發現新加入集羣的節點。

• node.master: 指定該節點是否有資格被選舉成爲node，默認是true。 node.data: 指定該節點是否存儲索引數據，默認爲true。

• node.ingest: 指定該節點是否使用管道，默認爲true。

• index.number_of_shards:設置默認索引分片個數，默認爲5片。

• index.number_of_replicas:設置默認索引副本個數，默認爲1個副本。

• discovery.zen.minimum_master_nodes: 設置這個參數來保證集羣中的節點可以知道其它N個有master資格的節點。默認爲1，對於大的集羣來說，可以設置大一點的值（2-4）。

• bootstrap.memory_lock: 設置爲true來鎖住內存。因爲當jvm開始swapping時es的效率會降低，所以要保證它不swap，可以把ES_MIN_MEM和ES_MAX_MEM兩個環境變量設置成同一個值，並且保證機器有足夠的內存分配給es。同時也要允許elasticsearch的進程可以鎖住內存，Linux下可以通過ulimit -l unlimited命令。 http.max_content_length: 設置內容的最大容量，默認100mb。
  -…

這裏在順便說下ElasticSearch節點的屬性。

1. node.master: true 並且 node.data: true
   這種組合表示這個節點即有成爲主節點的資格，又存儲數據。
   如果某個節點被選舉成爲了真正的主節點，那麼他還要存儲數據，這樣對於這個節點的壓力就比較大了。ElasticSearch默認每個節點都是這樣的配置，在測試環境下這樣做沒問題。實際工作中建議不要這樣設置，因爲這樣相當於主節點和數據節點的角色混合到一塊了。

2. node.master: false 並且 node.data: true
   這種組合表示這個節點沒有成爲主節點的資格，也就不參與選舉，只會存儲數據。 這個節點我們稱爲data(數據)節點。在集羣中需要單獨設置幾個這樣的節點負責存儲數據，後期提供存儲和查詢服務。

3. node.master: true 並且 node.data: false
   這種組合表示這個節點不會存儲數據，有成爲主節點的資格，可以參與選舉，有可能成爲真正的主節點，這個節點我們稱爲master節點。

4. node.master: false node.data: false
   這種組合表示這個節點即不會成爲主節點，也不會存儲數據，這個節點的意義是作爲一個client(客戶端)節點，主要是針對海量請求的時候可以進行負載均衡。

5. node.ingest: true
   執行預處理管道，不負責數據和集羣相關的事物。
   它在索引之前預處理文檔，攔截文檔的bulk和index請求，然後加以轉換。
   將文檔傳回給bulk和index API，用戶可以定義一個管道，指定一系列的預處理器。

elasticsearch.yml文件配置示例圖

將jvm.options配置Xms和Xmx改成2G，配置如下:

-Xms2g
-Xmx2g

關於ElasticSearch更多配置可以參考ElasticSearch官方文檔！

數據節點節點(data)配置

在配置完masternode節點的ElasticSearch之後，我們再來配置datanode節點的，我們將masternode節點copy一份並重命名爲datanode1，然後根據上述示例圖中紅色框出來簡單更改一下即可。
命令如下:

cd /opt/elk/
cp -r  masternode/ datanode1
vim datanode1/config/elasticsearch.yml
vim datanode1/config/jvm.options

datanode的elasticsearch.yml文件配置如下:

cluster.name: pancm
node.name: data1
path.data: /home/elk/datanode/data
path.logs: /home/elk/datanode/logs
network.host: 0.0.0.0
network.publish_host: 192.169.0.23
transport.tcp.port: 9300
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.169.0.23:9301","192.169.0.24:9301","192.169.0.25:9301"]
node.master: false
node.data: true
node.ingest: false 
index.number_of_shards: 5
index.number_of_replicas: 1
discovery.zen.minimum_master_nodes: 1
bootstrap.memory_lock: true
http.max_content_length: 1024mb

將jvm.options配置Xms和Xmx改成8G，配置如下:

-Xms8g
-Xmx8g

注:配置完成之後需要使用ll命令檢查一下masternode和datanode1權限是否屬於elastic用戶的，若不屬於，可以使用chown -R elastic:elastic +路徑 命令進行賦予權限。

上述配置完成之後，可以使用相同的方法在其他的機器在操作一次，或者使用ftp工具進行傳輸，又或者使用scp命令進行遠程傳輸文件然後根據不同的機器進行不同的修改。
scp命令示例:

jdk環境傳輸:

scp -r /opt/java root@slave1:/opt
scp -r /opt/java root@slave2:/opt

ElasticSearch環境傳輸:

scp -r /opt/elk root@slave1:/opt
scp -r /home/elk root@slave1:/opt
scp -r /opt/elk root@slave2:/opt
scp -r /home/elk root@slave2:/opt

3，啓動ElasticSearch

這裏還是需要使用elastic用戶來進行啓動，每臺機器的每個節點都需要進行操作！
在/opt/elk的目錄下輸入:

su elastic    
cd /opt/elk
./masternode/bin/elasticsearch -d
./datanode1/bin/elasticsearch -d

啓動成功之後，可以輸入jps命令進行查看或者在瀏覽器上輸入 ip+9200或ip+9201進行查看。
出現以下界面表示成功！

四、Kibana 安裝

kinaba安裝只需要在一臺機器上部署即可，直接通過root用戶進行操作，需要注意的是kinaba需要和ElasticSearch服務器網絡ping通即可。

1，文件準備

將下載下來的kibana-6.5.4-linux-x86_64.tar.gz的配置文件進行解壓
在linux上輸入:

 tar  -xvf   kibana-6.5.4-linux-x86_64.tar.gz

然後移動到/opt/elk 裏面，然後將文件夾重命名爲 kibana6.5.4
輸入:

mv  kibana-6.5.4-linux-x86_64  /opt/elk
mv  kibana-6.5.4-linux-x86_64  kibana6.5.4

2，配置修改

進入文件夾並修改kibana.yml配置文件:

  cd /opt/elk/kibana6.5.4
  vim config/kibana.yml

將配置文件中的：

server.host: "localhost"

修改爲：

server.host: "192.169.0.23"

然後一行新增,這行的意思是不使用帳號密碼登錄

xpack.security.enabled: false

保存退出！

3，Kinaba 啓動

使用root用戶進行啓動。
在kibana6.5.4文件夾目錄輸入:

nohup ./bin/kibana >/dev/null   2>&1 &

瀏覽器輸入:

http://IP:5601

五、錯誤問題解決辦法

1，max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

原因: 內存限制太小了！
解決辦法: 修改最大內存限制，參考Linux環境配置的第一條！

2，max number of threads [2048] for user [elastic] is too low, increase to at least [4096]

原因: 線程數限制太少了！
解決辦法: 修改最大線程數限制，參考Linux環境配置的第二條！

3， max file descriptors [65535] for elasticsearch process likely too low, increase to at least [65536]

原因: 打開文件個數太少了！
解決辦法: 修改最打開文件個數，參考Linux環境配置的第三條！

4，ERROR:bootstrap checks failed

原因:未鎖定內存。
解決辦法：在報錯機器上的elasticsearch.yml配置文件中添加bootstrap.memory_lock: true配置！

其它

ElasticSearch和head插件 Windows版的安裝:

https://www.cnblogs.com/xuwujing/p/8998168.html

音樂推薦

原創不易，如果感覺不錯，希望給個推薦！您的支持是我寫作的最大動力！
版權聲明:
作者：虛無境
博客園出處：http://www.cnblogs.com/xuwujing
CSDN出處：http://blog.csdn.net/qazwsxpcm　　　　
個人博客出處：http://www.panchengming.com