flink 1.9.2
版本搭建的HA JM存在bug:
明明在node01, node02
兩個節點上都有JM,但是孰是activing
,孰是standby
狀態無法區分。Spark
是有明確的狀態顯示的。
單獨啓動JM或TM
分別單獨執行jobmanager.sh taskmanager.sh
即可:
集羣角色劃分說明
高可用實現步驟
HDFS
用於保存JM的元數據信息,flink最擅長的是進行有狀態的計算,因此也就需要對大量數據進行存儲:
vim masters
:
將所有的JM都加進來:
要將修改後的配置文件同步到其他節點:
啓動HA集羣
要先啓動HDFS和zk。
要想將flink
數據保存到hdfs
,必須先下載這個插件:並將其放到flink
的lib
目錄下。每個節點都要放。
啓動