Postgres-xl集羣部署 + Haproxy 負載均衡

Postgres-xl 簡介

Postgres的-XL是一個基於PostgreSQL數據庫的橫向擴展開源SQL數據庫集羣，具有足夠的靈活性來處理不同的數據庫工作負載:

完全ACID，保持事務一致性
OLTP 寫頻繁的業務
需要MPP並行性商業智能/大數據分析
操作數據存儲
Key-value 存儲
GIS的地理空間
混合業務工作環境
多租戶服務提供商託管環境
Web 2.0

如圖所示：（系統圖）

組件介紹

Global Transaction Monitor (GTM)
全局事務管理器，確保羣集範圍內的事務一致性。
GTM負責發放事務ID和快照作爲其多版本併發控制的一部分。
集羣可選地配置一個備用GTM，以改進可用性。
此外，可以在協調器間配置代理GTM，可用於改善可擴展性，減少GTM的通信量。
GTM Standby
GTM的備節點，在pgxc,pgxl中，GTM
控制所有的全局事務分配，如果出現問題，就會導致整個集羣不可用，
爲了增加可用性，增加該備用節點。當GTM出現問題時，GTMStandby
可以升級爲GTM，保證集羣正常工作。
GTM-Proxy
GTM需要與所有的Coordinators通信，爲了降低壓力，
可以在每個Coordinator機器上部署一個GTM-Proxy。
Coordinator
協調員管理用戶會話，並與GTM和數據節點進行交互。
協調員解析，並計劃查詢，並給語句中的每一個組件發送下一個序列化的全局性計劃。
爲節省機器，通常此服務和數據節點部署在一起。
Data Node
數據節點是數據實際存儲的地方。數據的分佈可以由
DBA來配置。爲了提高可用性，可以配置數據節點的熱備以便進行故障轉移準備。

總結：
gtm是負責ACID的，保證分佈式數據庫全局事務一致性。得益於此，就算數據節點是分佈的，但是你在主節點操作增刪改查事務時，就如同只操作一個數據庫一樣簡單。
Coordinator是調度的，將操作指令發送到各個數據節點。
datanodes是數據節點，分佈式存儲數據。

安裝規劃表：

注意：PGHOME=/home/pgxl_9.5

安裝環境介紹

1).操作環境
    Window7 64位系統 電腦一臺

2).使用工具
    putty:連接服務器
    pscp:主要用於windows向linux發送文件，或由linux系統向windows發送文件；

3).服務器
    3臺服務器，並各自建立有3個虛擬機，系統版本統一爲 Ubuntu(16.04.3)系統；
4).postgres-xl 版本： postgres-xl-9.5r1.4.tar.gz

安裝準備

概述：安裝準備，主要進行安裝時，一些準備工作。

1)下載方式：
    a.git方式下載：
    git clone git://git.postgresql.org/git/postgres-xl.git

    注意：請安裝git,可採用sudo apt-get install git

    b.網頁下載：
    網址爲：https://sourceforge.net/projects/postgres-xl/
    下載完後將軟件包放入D盤根目錄下

    注意：這裏採用網頁方式下載，主要是因爲ubuntu安裝的git,下載該軟件包比較麻煩。

2)將下載好的壓縮包傳送到規劃表中IP地址172.17.30.15 -- 172.17.30.22 共8個系統中
    a.採用Putty連接服務器：
        (1)點擊Session:
            Host Name(or IP address):輸入連接服務器的IP,點擊Open連接到服務器
        (2)在根目錄下新建文件夾 postgres-xl_installPackage ，用以存放postgres-xl壓縮包               

    b.採用pscp傳送文件:
        (1)下載pscp工具：
            下載網址：https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html
        (2)將下載好的pscp.exe文件放到putty.exe一樣的目錄
        (3)開始-運行-打開cmd窗口：
            1.進入到pscp.exe目錄 
            2.輸入如下命令進行傳送：
            pscp 傳送文件 主機名@IP:傳送目錄
            如：
            pscp D:\postgres-xl-9.5r1.4.tar.gz [email protected]:./postgres-xl_installPackage

安裝Postgres-xl前配置

概述：介紹在Postgres-xl安裝前，一些配置。
注意：除了安裝負載均衡的服務器外，都要安裝。
分爲：
        1：解壓postgres-xl壓縮包
        2：創建一個用戶，用戶名爲postgres,密碼爲123456
        3：爲postgres用戶設置免密登錄
        4：修改/etc/hosts中內容
        5：安裝postgrex-xl相關依賴包
        6：編譯安裝postgres-xl
        7：設置postgres-xl環境變量

1 解壓postgrex-xl壓縮包

1)將文件夾postgres_installPackage 目錄下的壓縮包解壓
    a.進入壓縮包目錄cd /postgres_installPackage    
    b.解壓文件：sudo tar –zvxf  postgres-xl-9.5rl.4.tar.gz

2 創建一個用戶，用戶名爲postgres,密碼爲123456

1)創建用戶，用戶名：posgres,密碼爲：123456
    a.創建用戶：sudo adduser postgres
    b.設置用戶密碼：按提示輸入即可
    c.如下圖所示
    d.刪除用戶時，使用命令：sudo deluser 用戶名

 注意：建議不使用sudo useradd postgres創建，如果創建了，請輸入sudo userdel postgres刪除。

注意：除了安裝負載均衡的服務器外，都要安裝。

如圖所示：

3 爲postgres用戶設置免密登錄

  在ubuntu中用戶輸入：sudo usermod –a –G sudo postgres
 切換用戶爲postgres: 輸入如下命令sudo postgres

 1)設置密鑰
     輸入命令 sudo ssh-keygen,一直接按enter即可

注意：如果sudo ssh-keygen有錯誤，可嘗試ssh-keygen

如圖所示：

 2)密鑰傳輸（除了當前IP地址，每個IP地址都傳輸一次）
    命令：ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

注意：！！！
    1.除了安裝負載均衡的服務器外，都要進行密鑰傳輸。可以簡單理解：假如有三臺服務器用來部署postgres-xl,分別A,B,C.在進行密鑰傳輸時，A的密鑰，傳輸給B,C；B的密鑰，傳輸給A,C；C的密鑰，傳送給A,B;

    2.主要修改[email protected]。將IP=172.17.30.204改爲要傳輸服務器的IP即可

    3.可以通過ifconfig 進行查詢Ip

如圖所示：配置IP：172.17.30.204 傳送到172.17.30.204(例子)

4 修改/etc/hosts中內容

概述：配置主機IP及對應的主機名
1).採用命令：sudo vi /etc/hosts
2).驗證：ping Ip eg: ping 172.17.30.204
3).如果驗證不通過，可能需要重啓：sudo reboot

注意： ！！！
    1.除了安裝負載均衡的服務器外，都要進行修改。
    2.每臺服務器（除了安裝負載均衡的服務器),都要添加（除了安裝負載均衡的服務器)的所有IP和主機名

eg:如果有三臺服務器,每臺服務器添加
添加內容：
    172.17.30.15 devcenter015
        172.17.30.16 devcenter016
        172.17.30.17 devcenter017
        172.17.30.18 devcenter018
        172.17.30.19 devcenter019
        172.17.30.20 devcenter020
        172.17.30.21 devcenter021
        172.17.30.22 devcenter022
        172.17.30.204 devcenter04
        172.17.30.215 devcenter15
        172.17.30.220 devcenter20

如圖所示：

5 安裝postgres-xl相關依賴包

概述：安裝postgres-xl進行編譯時，所需要的依賴包

依賴包：
make 、flex、bison、openjade、docbook-dsssl
readline、zlib

ubuntu:安裝命令sudo apt-get install 安裝包名

注意：
    1.readline,zlib在ubuntu就存在了
    2.可以通過如下命令進行查看：
        ldconfig -p | grep readline

    3.可以安裝： sudo apt-get install libreadline6-dev

6 編譯安裝postgres-xl

概述：如何安裝postgres-xl

注意：如下操作，請切換到postgres用戶下進行。採用
su postgres切換

1）.編譯安裝postgres-xl

    a.在/home/postgres下創建目錄
        採用命令： sudo mkdir /home/postgres/pgxl_9.5

    b.進入到postgres-xl的解壓目錄
        eg:
            cd /postgres-xl_installPackpage/pgxlgres-xl-9.5rl.4 

    c.執行如下命令：
        ./configure --prefix=/home/postgres/pgxl_9.5 --without-readline --without-zlib
    主要是將編譯好的一些文件放在指定目錄下

    d.執行如下命令：（編譯）
        make

    e.執行安裝命令：
        sudo make install

注意:sudo make install有錯誤時，請執行make install安裝

如圖所示：(./configure –prefex=/home/postgres/pgxl_9.5)

如圖所示：(make)

如圖所示:(sudo make install)

7 設置postgres環境變量

概述：主要將/home/postgres/.bashrc添加內容

內容如下：
#set postgres path
export PGHOME=/home/postgres/pgxl_9.5
export LD_LIBRARY_PATH=$PGHOME/lib:$LD_LIBRARY_PATH
export PATH=$PGHOME/bin:$PATH

1). 使得修改的內容生效：source /home/postgres/.bashrc

2).驗證如下：輸入echo $PGHOME 出現：/home/postgres/pgxl_9.5

初始化gtm,coordinator,datanode

概述：初始化gtm,coordinator,datanode生成相關配置文件

    1).根據規劃表格，創建相應目錄gtm,coordinator,datanode目錄
    eg:
        在172.17.30.16的創建/home/postgres/pgxl_9.5/data,以及/home/postgres/pgxl_9.5/data/dn1和/home/postgres/pgxl_9.5/data/dn2目錄

    2).初始化gtm角色
        a.設置目錄權限：eg:sudo chown postgres /home/postgres/pgxl_9.5/data/gtm
            b.執行命令：initgtm -Z gtm -D /home/postgres/pgxl_9.5/data/gtm

    3.初始化coordinator角色
        a.設置目錄權限：eg:sudo chown postgres /home/postgres/pgxl_9.5/data/coord1
        b.執行命令：initdb -D /home/postgres/pgxl_9.5/data/coord1 --nodename coord1 -E UTF8 --locale=C -U postgres -W

    4.初始化datanode角色
        a.設置目錄權限：eg:sudo chown postgres /home/postgres/pgxl_9.5/data/dn1
        b.執行命令：initdb -D /home/postgres/pgxl_9.5/data/dn1 --nodename dn1 -E UTF8 --locale=C -U postgres –W
        注意：
            nodename dn1:根據創建目錄名字修改。如/home/postgres/pgxl_9.5/data/dn3初始化時，爲initdb -D /home/postgres/pgxl_9.5/data/dn3 --nodename dn3 -E UTF8 --locale=C -U postgres –W

    注意：
        1.請在安規表格中分配角色，進行相應的初始化操作。如，172.17.30.215中分配兩個datanode角色，相應目錄爲/home/postgres/pgxl_9.5/data/dn1，/home/postgres/pgxl_9.5/data/dn2,所以初始化時執行initdb -D /home/postgres/pgxl_9.5/data/dn1 --nodename dn1 -E UTF8 --locale=C -U postgres –W和initdb -D /home/postgres/pgxl_9.5/data/dn2 --nodename dn2 -E UTF8 --locale=C -U postgres –W

        2.如果不執行設置目錄權限，可能直接執行初始化命令，會出錯

如圖所示：（初始化gtm）

如圖所示：（初始化coordinator）

如圖所示：（初始化datanode）

修改postgrex-xl配置文件

概述：根據初始化gtm,coordinator,datanode生成的配置文件，進行相應的修改

1).修改gtm生成的配置文件：gtm.conf.文件所在目錄爲：/home/postgres/pgxl_9.5/data/gtm
    修改內容爲：
        nodename = 'gtm'

        listen_addresses = '*'

        port =6666          #gtm端口

        startup = ACT
        注意：有的前面有‘#’,去掉#號

2).修改coordinator生成的配置文件：postgresql.conf文件。文件所在目錄：/home/postgres/pgxl_9.5/coordinator角色目錄。eg:/home/postgres/pgxl_9.5/coord1
    修改內容：
        # - Connection Settings -  （修改一）
        listen_addresses = '*'
        port = 5301  #coordinator端口設置，coord1和coord2端口都爲5301
        max_connections = 100

        # DATA NODES AND CONNECTION POOLING （修改二）
        #----------------------------------
        pooler_port = 6701      #coord2這個端口也改爲6701
        max_pool_size = 100

        # GTM CONNECTION
        #--------------------------
        gtm_host = '172.17.30.16'   # gtm所在的主機地址
        gtm_port = 6666    #gtm配置中，gtm端口號配置爲6666

    注意：根據實際情況進行修改

3).修改coordinator,datanode中的pg_hba.conf文件，文件所在目錄：/home/postgres/pgxl_9.5/相應角色目錄。eg:/home/postgres/pgxl_9.5/coord1
        修該內容：
        # "local" is for Unix domain socket connections only

        local   all       all                  trust

        # IPv4 local connections:

        host    all      all     0.0.0.0/0      trust

        # IPv6 local connections:

        host    all      all     ::1/128         trust

4).修改datanode生成的配置文件：postgresql.conf文件。文件所在目錄：/home/postgres/pgxl_9.5/datanode角色目錄。eg:/home/postgres/pgxl_9.5/coord1
    修改內容：
        # - Connection Settings -  （修改一）
        listen_addresses = '*'
        port = 5401  #注意：同一臺服務器中端口不同，但不同服務器的端口可以相同dn2，dn3,dn4配置文件分別改爲5402、5401、5402，dn3和dn4在一臺服務器上
        max_connections = 100

        # DATA NODES AND CONNECTION POOLING （修改二）
        #----------------------------------
        pooler_port = 6801      #dn2，dn3,dn4配置文件都改爲6801
        #同一臺機器要使用不同的端口，如dn1，dn2在同一臺機器上分別是6801,6802
        #dn3，dn4上端口號也是6801,6802。就是同一機器端口號不同即可。

        max_pool_size = 100

        # GTM CONNECTION
        #--------------------------
        gtm_host = '172.17.30.16'   # gtm所在的主機地址
        gtm_port = 6666    #gtm配置中，gtm端口號配置爲6666

    注意：根據實際情況進行修改



5).重啓gtm,coordinator,datanode服務器
        採用命令：sudo reboot

  注意：當sudo reboot有問題時，可以採用reboot命令

如圖所示：（修改gtm）

如圖所示：（修改coordinator）

修改一：

修改二：

修改三：

如圖所示：（修改datanode）

修改一：

修改二：

修改三：

啓動postgres-xl

啓動順序：
1.啓動gtm
2.啓動全部DataNode
3.最後啓動全部coordinator

1).啓動gtm:gtm_ctl start -Z gtm -D /home/postgres/pgxl_9.5/data/gtm

2).啓動datanode:pg_ctl start -Z datanode -D /home/postgres/pgxl_9.5/data/dn1
    注意：有多少個datanode,就得啓動多少個datanode,注意修改目錄，如啓動datanode2:pg_ctl start -Z datanode -D /home/postgres/pgxl_9.5/data/dn2

3).啓動coordinator:pg_ctl start -Z coordinator -D /home/postgres/pgxl_9.5/data/coord1
    注意：有多少個coordinator,就得啓動多少個coordinator,注意修改目錄，如啓動pg_ctl start -Z coordinator -D /home/postgres/pgxl_9.5/data/coord2

如圖所示：（啓動gtm）

如圖所示：（啓動datanode）

如圖所示： (啓動coordinator)

如圖所示：（修改coordinator,datanode中的pg_hba.conf文件）