Spark2.2.0集羣搭建部署之【SPARK集羣篇】

軟件準備信息，詳見Spark2.2.0集羣搭建部署之【軟件準備篇】

基礎配置信息，詳見Spark2.2.0集羣搭建部署之【基礎配置篇】

SSH無密訪問，詳見park2.2.0集羣搭建部署之【無密訪問篇】

HADOOP集羣，詳見Spark2.2.0集羣搭建部署之【HADOOP集羣篇】

解壓spark-2.2.0-bin-hadoop2.7.7.tar.gz

tar -zxvf spark-2.2.0-bin-hadoop2.7.7.tar.gz

配置環境變量, vi /etc/profile

export SPARK_HOME=/root/xdb/spark-2.2.0-bin-hadoop2.7

export PATH=$PATH:$SPARK_HOME/bin

刷新,source /etc/profile。

進入$SPARK_HOME/conf目錄，拷貝 cp spark-env.sh.template spark-env.sh ; cp slaves.template slaves

master配置spark-env.sh文件，添加以下內容

export SCALA_HOME=/root/xdb/scala-2.11.11/
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export SPARK_MASTER_IP=192.168.195.129
export SPARK_EXECUTOR_INSTANCES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1024M

export HADOOP_CONF_DIR=/root/xdb/hadoop-2.7.7/etc/hadoop

export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_MASTER_PORT=7077

export SPARK_LOCAL_IP=192.168.195.129
export SPARK_MASTER_HOST=192.168.195.129

修改$SPARK_HOME/conf/slaves，添加如下內容：

master
slave1

同理，slave1中也配置上述信息，不過這條信息對應需要修改下。

export SPARK_LOCAL_IP=192.168.195.128

在Master節點啓動集羣
 

$SPARK_HOME/sbin/start_all.sh 

可查看jps，會對應新增master以及worker進程。

Spark管理界面, http://192.168.195.129:8080即可訪問，workers欄目下有對應的master以及slave1。

通過命令，可以在管理頁面中添加application

cd /root/xdb/spark-2.2.0-bin-hadoop2.7/bin 
spark-shell --master spark://master:7077