spark集羣部署

1.下載安裝scala
scala下載地址
我用的是scala-2.11.8.tgz
然後解壓

sudo tar -zvxf scala-2.11.8.tgz /usr/local
cd /usr/local
sudo mv scala-2.11.8 ./scala
sudo chown -R master ./scala

配置scala環境變量

sudo vim /etc/profile

添加配置

export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin

下載spark
spark下載地址（選擇合適的spark版本，需要支持你安裝hadoop的版本，我使用的是 spark-1.6.0-bin-hadoop2.6.tgz）
解壓

 tar –zvxf  spark-1.6.0-bin-hadoop2.6.tgz  –C /usr/local/spark/

配置spark環境變量

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

是環境變量生效

source /etc/profile

注：環境變量每個主機上都要配置

在master上修改spark的配置文件（都在/usr/local/spark/conf/路徑下）

修改spark-env.sh配置文件：
由於沒有spark-env.sh文件，需要執行下面命令，創建一個spark-env.sh文件

cp spark-env.sh.template spark-env.sh 

添加配置

export SCALA_HOME=/usr/local/scala

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_HOME=/usr/local/hadoop

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_JAR=/usr/local/spark/lib/spark-assembly-1.6.0-hadoop2.6.0.jar

修改slaves文件，將計算節點的主機名添加到該文件，一行一個，例如：

master
slave1

將scala，spark發送到slave1節點

scp –r scala  slave1:/usr/local/ 

scp –r spark  slave1:/usr/local/ 

啓動spark集羣

sbin/start-master.sh
sbin/start-slaves.sh