Linux安裝Flink

目錄

單機版

Standalone Cluster

Yarn Cluster

---

        不論是哪種方式，安裝Flink前需要安裝好JDK，假設已經安裝好JDK1.8。

單機版

在192.168.128.111上安裝。

1、下載

flink有兩個版本，一個版本是和hadoop捆綁的，另一個是單獨的，我們以單獨的爲例：

flink-1.9.3-bin-scala_2.11.tgz

2、解壓

tar -zxvf flink-1.9.3-bin-scala_2.11.tgz -C /opt/
解壓到/opt/目錄下

3、配置環境

打開配置文件：

vi /etc/profile

配置內容如下：

# Flink
export FLINK_HOME=/opt/flink-1.9.3
export PATH=$FLINK_HOME/bin:$PATH

保存配置：

source /etc/profile

4、啓動Flink

執行

start-cluster.sh

jps查看是否啓動成功：

5、查看管理頁面

http://ip地址:8081

6、運行一個example

（1）打開第一個窗口：

監聽8888端口：

 nc -lk 8888

如果沒有安裝nc，執行如下命令安裝：

yum install -y nc

（2）打開第二個窗口

進入flink安裝目錄，啓動單詞統計的java程序 SocketWindowWordCount，並監聽8888端口

flink run examples/streaming/SocketWindowWordCount.jar --port 8888

（3）打開第三個窗口

進入flink安裝目錄下的log目錄，查看統計結果：

tail -f flink-root-taskexecutor-0-bigdata111.out

7、停止運行

執行stop-cluster.sh命令即可停止運行集羣

 

Standalone Cluster

a fully distributed fashion on a static (but possibly heterogeneous) cluster

集羣分配：

192.168.128.111，bigdata111（master）

192.168.128.112，bigdata112（worker）

192.168.128.113，bigdata113（worker）

在安裝前，每臺機器需要安裝JDK，假設已經安裝好。

1、master安裝

配置Flink安裝目錄下的conf/flink-conf.yaml

默認如下：

jobmanager.rpc.address: localhost

jobmanager.heap.size: 1024m

taskmanager.heap.size: 1024m

修改爲：

jobmanager.rpc.address: bigdata111

 

conf/slaves

默認如下：

localhost

修改爲：

bigdata112

bigdata113

 

2、worker安裝

將配置好的master複製到worker中，保存目錄相同。使用如下命令拷貝即可：

scp -r flink-1.9.3 root@bigdata112:/opt/

scp -r flink-1.9.3 root@bigdata113:/opt/

 

3、啓動集羣

在master節點上執行start-cluster.sh命令啓動集羣。然後jps查看各節點啓動情況，如圖：

4、停止集羣

執行stop-cluster.sh命令即可，如圖：

 

Yarn Cluster