3臺linux搭建Pulsar集羣環境用於測試

搭建 Pulsar 集羣需要 3 個組件：ZooKeeper 集羣、BookKeeper 集羣和 broker 集羣 以下部署策略： 192.168.1.46 （部署BookKeeper,部署broker） 192.168.1.47 （部署BookKeeper,部署broker） 192.168.1.48 （部署單個ZK,部署BookKeeper,部署broker） 前期準備 1)jdk1.8 2)在各機器根下創建 data目錄,下載apache-pulsar-2.4.2-bin.tar.gz拷到data目錄下 chmod 777 apache-pulsar-2.4.2-bin.tar.gz tar xvfz apache-pulsar-2.4.2-bin.tar.gz 一 ZooKeeper 集羣 爲了簡單一臺機器上部署單個ZK使用. 1) 在data目錄下創建 zookeeper和zookeeper/logs目錄 2) 修改 zookeeper.conf 文件 dataDir=/data/zookeeper dataLogDir=/data/zookeeper/logs server.3=192.168.1.48:2888:3888 3) 執行命令 echo 3 > /data/zookeeper/zookeeper/myid 4) 啓動zk /data/apache-pulsar-2.4.2$ PULSAR_EXTRA_OPTS="-Dstats_server_port=8001" bin/pulsar-daemon start zookeeper (注意：因爲ZK和broker部署在同一機器啓動時要加上PULSAR_EXTRA_OPTS="-Dstats_server_port=8001" 改變端口，否則到後邊在衝突) 5) 初始化集羣元數據 bin/pulsar initialize-cluster-metadata \ --cluster pulsar-cluster-zk \ --zookeeper 192.168.1.48:2181 \ --configuration-store 192.168.1.48:2181 \ --web-service-url http://192.168.1.48:8080 \ --web-service-url-tls https://192.168.1.48:8443 \ --broker-service-url pulsar://192.168.1.48:6650 \ --broker-service-url-tls pulsar+ssl://192.168.1.48:6651 二 BookKeeper 集羣 1)創建 /data/bookkeeper/目錄 2)bookkeeper.conf 文件 advertisedAddress=HOSTNAMEIP (根據機器IP填寫) zkServers=192.168.1.48:2181 journalDirectory=/data/bookkeeper/journal ledgerDirectories=/data/bookkeeper/ledgers 3 執行初始化元數據命令；若出現提示，輸入 Y，繼續（只需在一個bookie節點執行一次） /data/apache-pulsar-2.4.2$ bin/bookkeeper shell metaformat 4)啓動 data/apache-pulsar-2.4.2$ bin/pulsar-daemon start bookie 5)另兩臺機器根據以上操作分別啓動 三部署 broker集羣 1 修改配置文件broker.conf zookeeperServers=192.168.1.48:2181 configurationStoreServers=192.168.1.48:2181 advertisedAddress=HOSTNAME (根據機器IP填寫) clusterName=pulsar-cluster-zk 2 啓動data/apache-pulsar-2.4.2$ bin/pulsar-daemon start broker 3 另兩臺機器根據以上操作分別啓動