NiFi 集羣安裝部署及使用

NiFi 架構

NiFi在主機操作系統上的JVM內執行。JVM上NiFi的主要組件如下：
1. Web Server
  Web服務器的目的是託管NiFi基於HTTP的命令和控制API。
2. Flow Controller
  流量控制器是操作的大腦。它爲擴展程序提供運行的線程，並管理擴展程序何時接收要執行的資源的計劃。
3. Extensions
  在其他文獻中描述了各種類型的NiFi擴展。這裏的關鍵點是擴展在JVM中運行和執行。
4. FlowFile Repository
  FlowFile存儲庫是NiFi跟蹤其對流中當前活動的給定FlowFile的瞭解狀態的地方。存儲庫的實現是可插入的。默認方法是位於指定磁盤分區上的持久性預寫日誌。
5. Content Repository
  內容存儲庫是給定FlowFile的實際內容字節。存儲庫的實現是可插入的。默認方法是一種相當簡單的機制，它將數據塊存儲在文件系統中。可以指定多個文件系統存儲位置，以便獲得不同的物理分區以減少任何單個捲上的爭用。
6. Provenance Repository
  Provenance Repository是存儲所有出處事件數據的地方。存儲庫構造是可插入的，默認實現是使用一個或多個物理磁盤卷。在每個位置內，事件數據被索引並可搜索。
下載 NiFi 安裝包並解壓

下載地址: http://nifi.apache.org/download.html

單機部署

修改 con/nifi.properties 配置文件(可不修改)

# HTTP 主機地址。默認爲空。
nifi.web.http.host=DSJ-TVM001
# HTTP 端口。默認爲8080
nifi.web.http.port=8080

啓動 NiFi

在 ${NIFI_HOME}/bin 目錄中，執行命令./nifi.sh .

command	描述
start	後臺啓動 NiFi
stop	停止後臺運行的 NiFi
status	查詢 NiFi 的當前狀態
run	在前臺啓動 NiFi，Ctrl+C 關閉 NiFi
install	將 NiFi 安裝爲服務。使用 service nifi {start\|stop\|run\|restart\|status}

訪問地址: http://localhost:8080

集羣部署

使用 NiFi 內嵌 ZooKeeper
集羣的默認狀態提供程序爲 ZooKeeperStateProvider。這意味着 NiFi 依賴ZooKeeper才能表現爲羣集。在許多部署 NiFi 的環境中，可能沒有集成 ZooKeeper 集羣。爲避免必須單獨維護的 ZooKeeper 集羣，NiFi 提供了啓動嵌入式 ZooKeeper 集羣。通常，建議在3個或5個節點上運行ZooKeeper。
參考: http://nifi.apache.org/docs/nifi-docs/html/administration-guide.html#clustering

修改配置文件 nifi.properties

# 當前 NiFi 實例是否運行嵌入式ZooKeeper服務器
nifi.state.management.embedded.zookeeper.start=true
# ZooKeeper 屬性文件
nifi.state.management.embedded.zookeeper.properties=./conf/zookeeper.properties
# 當前 nifi 節點主機名
nifi.web.http.host=cdh01
#nifi.web.http.host=cdh02
#nifi.web.http.host=cdh03
# 當前 nifi 節點端口
nifi.web.http.port=8990
# 是否是集羣中的節點，默認值爲false。
nifi.cluster.is.node=true
# 設置爲當前節點的主機名
nifi.cluster.node.address=cdh01
#nifi.cluster.node.address=cdh02
#nifi.cluster.node.address=cdh03
# 此端口設置爲高於1024的開放端口(任何較低的端口都需要root)。
nifi.cluster.node.protocol.port=8888
# 用於與集羣中其他節點通信的線程數。此屬性默認爲10。
nifi.cluster.node.protocol.threads=10
#與集羣中其他節點進行通信的最大線程數。此屬性默認爲50。
nifi.cluster.node.protocol.max.threads=50
# 指定在選擇流作爲“正確”流之前要等待的時間
nifi.cluster.flow.election.max.wait.time=5 mins
# 指定集羣中導致流的早期選擇所需的節點數
nifi.cluster.flow.election.max.candidates=1
# cluster 負載均衡配置 #
nifi.cluster.load.balance.host=cdh01
nifi.cluster.load.balance.port=6342
nifi.cluster.load.balance.connections.per.node=4
nifi.cluster.load.balance.max.thread.count=8
nifi.cluster.load.balance.comms.timeout=30 sec

# ZooKeeper 列表 例如: cdh01:2181,cdh02:2181,cdh03:2181。
nifi.zookeeper.connect.string=cdh01:2181,cdh02:2181,cdh03:2181
nifi.zookeeper.connect.timeout=3 secs
nifi.zookeeper.session.timeout=3 secs
# ZooKeeper 存儲數據根目錄。默認值爲 /nifi
nifi.zookeeper.root.node=/nifi

修改 conf/state-management.xml 配置文件

<cluster-provider>
    <id>zk-provider</id>
    <class>org.apache.nifi.controller.state.providers.zookeeper.ZooKeeperStateProvider</class>
    <property name="Connect String">cdh01:2181,cdh02:2181,cdh03:2181</property>
    <property name="Root Node">/nifi</property>
    <property name="Session Timeout">10 seconds</property>
    <property name="Access Control">Open</property>
</cluster-provider>

修改 conf/zookeeper.properties 配置文件

initLimit=10
autopurge.purgeInterval=24
syncLimit=5
tickTime=2000
dataDir=./state/zookeeper
autopurge.snapRetainCount=30
server.1=cdh01:2888:3888;2181
server.2=cdh02:2888:3888;2181
server.3=cdh03:2888:3888;2181

創建 ZooKeeper 節點ID

#第一個節點
cd $NIFI_HOME
mkdir state
mkdir state/zookeeper
echo 1 > state/zookeeper/myid
#第二個節點
cd $NIFI_HOME
mkdir state
mkdir state/zookeeper
echo 2 > state/zookeeper/myid
#第三個節點
cd $NIFI_HOME
mkdir state
mkdir state/zookeeper
echo 3 > state/zookeeper/myid

參考: http://nifi.apache.org/docs/nifi-docs/html/administration-guide.html#embedded_zookeeper

各個上節點啓動 NiFi

NiFi 集羣中的任一節點均可訪問

NiFi 示例
1. NiFi 首頁
2. 添加處理器
3. 配置處理器(GetFile 和 PutFile)
  
  GetFile
  
  配置說明:
  
  參考: http://nifi.apache.org/docs.html
  
  PutFile
4. 連接處理器
5. 啓動和停止處理器
  
  啓動:
  
  停止: