spark on yarn 集羣 安裝

一.集羣基礎環境

1. centos6.5 64 位 Hadoop 完全分佈（http://blog.csdn.net/u011414200/article/details/47681711）

2. 集羣說明

主節點 master4 10.6.3.40
數據節點 slave41 10.6.3.45

3.安裝包

1.hadoop-2.2.0.tar.gz(http://pan.baidu.com/s/1slaoEbb)
2.spark-2.0.1-bin-hadoop2.4.tar.gz(http://pan.baidu.com/s/1c2sqfp2)
2.scala-2.10.6.tar.tgz(http://pan.baidu.com/s/1gfNYcmB)

二. scala 安裝

1.將scala-2.10.6.tar.tgz 包解壓 （本文是解壓在/home/zl 下）

tar -zcvf scala-2.10.6.tar.gz

2.修改環境變量

添加上圖的16,17兩行
注：此處環境變量是指當前用戶下的環境變量

vim ~/.bash_profile

 16 export SCALA_HOME=/home/zl/scala-2.10.6
 17 export PATH=$PATH:$SCALA_HOME/bin

3.使環境變量生效

source ~/bash_profile

4.驗證是否安裝成功

scala-version

如下圖，則表示安裝成功

三.安裝配置spark

1.將spark-2.0.1-bin-hadoop2.4.tar.gz 安裝包放入指定目錄（本文是在/home/zl下），並解壓到當前用戶目錄下

tar -zcvf spark-2.0.1-bin-hadoop2.4.tar.gz -C ~/

2.進入 spark-2.0.1-bin-hadoop2.4/conf 下

cd /home/zl/spark-2.0.1-bin-hadoop2.4/conf 

3.配置 spark-env.sh
1.將 spark-env.sh.template 文件複製並重命名爲spark-env.sh

cp spark-env.sh.template spark-env.sh

2.編輯 spark-env.sh 文件

vim spark-env.sh

加入如下代碼

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64//java路徑
export SCALA_HOME=/home/zl/scala-2.10.6//scala路徑
export HADOOP_HOME=/home/zl/spark-2.0.1-bin-hadoop2.4//spark 路徑

``

3.編輯 worker 節點的主機

vim slaves

添加 slave41

4.將配置好的spark分發到點據節點
scp -r spark-2.0.1-bin-hadoop2.4 master4@slave41:/home/zl
5.在主節點 master4 上 sbin 目錄下啓動 spark
sh start-all.sh

master4 看到 master 進程

slave 看到 worke進程

1. 在10.6.3.40:8080界面

   
   ok,基於 yarn 的 spark 安裝成功！