我的大數據之旅-Spark集羣環境搭建

 

 

一、環境裝備

兩臺或者兩臺以上安裝了jdk1.8的虛擬機

我準備了三臺：hadoop129/hadoop130/hadoop131

規劃：

       Master機：hadoop129

       Slaves機：hadoop130/hadoop131

二、下載Spark安裝包：

Spark官網下載地址

三、解壓縮

[fengling@hadoop129 software]$ tar -zxf spark-2.4.4-bin-hadoop2.7.tgz -C /opt/module/

四、配置

• 切換到conf目錄

/opt/module/spark-2.4.4-bin-hadoop2.7/conf，從template文件拷貝一份作爲配置文件。

[fengling@hadoop129 conf]$ cp slaves.template slaves
[fengling@hadoop129 conf]$ cp spark-env.sh.template spark-env.sh

修改配置文件 

[fengling@hadoop129 conf]$ vi slaves

編輯spark-env.sh文件

[fengling@hadoop129 conf]$ vim spark-env.sh

新增配置：

SPARK_MASTER_HOST=hadoop129
SPARK_MASTER_PORT=7077

五、拷貝到其他服務器

[fengling@hadoop129 module]$ scp -r spark-2.4.4-bin-hadoop2.7/ hadoop130:/opt/module/
[fengling@hadoop129 module]$ scp -r spark-2.4.4-bin-hadoop2.7/ hadoop131:/opt/module/

六、啓動

[fengling@hadoop129 spark-2.4.4-bin-hadoop2.7]$ sbin/start-all.sh

注意：

•  如果提示 JAVA_HOME is not set， 則配置一下spark_home/sbin/spark_config.sh，加上export JAVA_HOME = 你的jdk目錄即可
• 各虛擬機注意關閉防火牆或者開啓相應的端口，否則salves機會連接不上mater機

檢查是否已經啓動

Master機：

[fengling@hadoop129 spark-2.4.4-bin-hadoop2.7]$ jps
51261 Master
51437 Jps

Slaves機：

[fengling@hadoop131 .ssh]$ jps
16321 Worker
16422 Jps

web訪問，一臺master機 、兩臺slave機