NiFi用戶使用指南筆記

NiFi 用戶使用指南筆記

1. 組件具有版本依賴關係

處理器設置

2. pelnalty duration：組件發生故障，是數據在此刻沒法處理但之後還可以處理時，處理器可以選擇擱置緩存該FlowFile，在指定時間過後再處理。
3. yield duration：當處理器發生故障，無論花多長時間，數據無法再得到進一步的處理時，啓用yield duration，這段時間過後放棄任務。
4. Automatically Terminate Relationships：爲了使處理器被視爲有效且能夠運行，處理器定義的每個關係必須連接到下游組件或自動終止；如果關係是自動終止的，則將從流中刪除任何路由到該關係的FlowFile，並將其處理視爲完成。此外，對於選擇自動終止的任何關係，必須首先從使用它的任何Connection中刪除關係。
5. 處理器調度策略：
     定時器驅動（Timer driven）：默認模式，處理器將安排定期運行。
     事件驅動（Event driven）：處理器由事件驅動運行，並且僅當FlowFiles進入連接此處理器的Connections時事件纔會發生。
     CRON驅動（CRON driven）：當使用CRON驅動的調度模式時，處理器被安排定期運行，類似於定時器驅動的調度模式。然而，CRON驅動模式以增加配置的複雜性爲代價提供了顯着更大的靈活性。CRON驅動的調度值是由六個必需字段和一個可選字段組成的字符串，每個字段由空格分隔。字段內容如下：
   
   
6. 併發任務（concurrent tasks）：這可以控制處理器將使用的線程數。換句話說，它控制此處理器應同時處理多少個FlowFiles。
7. 執行（execution）：執行設置用於確定處理器將被調度執行的節點。選擇“所有節點”將導致在集羣中的每個節點上調度此處理器。選擇“主節點”將導致此處理器僅在主節點上進行調度。
8. 執行事件長度（Run Duration）：處理器完成運行後，必須更新存儲庫才能將FlowFiles傳輸到下一個Connection。更新存儲庫的成本很高，因此在更新存儲庫之前可以立即完成的工作量越多，處理器可以處理的工作量就越多（吞吐量越高）。但是，這意味着在上一個Process更新此存儲庫之前，下一個Processor無法開始處理這些FlowFiles。結果是，延遲時間會更長（從開始到結束處理FlowFile所需的時間會更長）
9. comment（註釋/說明）：可選的，使用戶可以對此組件自主的做任何註釋

Controler Service

可以爲process Group 右鍵添加Controler Service，並選擇類型種類

Connection

10. 選項卡還提供了選擇此Connection中應包含哪些關係的功能。必須至少選擇一個關係。如果只有一個關係可用，則會自動選擇它。
11. FlowFile到期（FlowFile Expiration）：自動從流中刪除無法及時處理的數據。到期可以與優先級排序器一起使用，以確保首先處理最高優先級數據，然後可以丟棄在特定時間段（例如，一小時）內無法處理的任何內容。到期時間基於數據進入NiFi實例的時間。換句話說，如果給定連接上的文件到期時間設置爲“1小時”，並且已經在NiFi實例中一小時的文件到達該連接，則該文件將過期。
12. 背壓（Back Pressure）：提供的第一個選項是“背壓對象閾值”。這是在應用背壓之前可以在隊列中的FlowFiles的數量。第二個配置選項是“背壓數據大小閾值”。這指定了在應用反壓之前應排隊的最大數據量（大小）。
13. 負載均衡（Load Balancing）：
14. 彎曲連接：雙擊連接線，出現黃點，拖動即可

未完待續。。。