flink HA高可用Standalone集羣搭建

flink 1.9.2版本搭建的HA JM存在bug:
明明在node01, node02兩個節點上都有JM,但是孰是activing,孰是standby狀態無法區分。Spark是有明確的狀態顯示的。

單獨啓動JM或TM

分別單獨執行jobmanager.sh taskmanager.sh即可:
在這裏插入圖片描述

集羣角色劃分說明

在這裏插入圖片描述

高可用實現步驟

在這裏插入圖片描述
在這裏插入圖片描述

在這裏插入圖片描述
HDFS用於保存JM的元數據信息,flink最擅長的是進行有狀態的計算,因此也就需要對大量數據進行存儲:
在這裏插入圖片描述

在這裏插入圖片描述
vim masters
將所有的JM都加進來:
在這裏插入圖片描述
要將修改後的配置文件同步到其他節點:
在這裏插入圖片描述
在這裏插入圖片描述

啓動HA集羣

要先啓動HDFS和zk。

要想將flink數據保存到hdfs,必須先下載這個插件:並將其放到flinklib目錄下。每個節點都要放。
在這裏插入圖片描述
在這裏插入圖片描述

啓動

在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章