在上2篇文章中，完成了基礎環境的安裝以及Hadoop的安裝配置基礎上進行scala的安裝配置。
3.8 Scala安裝
注意scala2.11版本不支持spark1.*版本。
需要在3臺服務器上都安裝 Scala 。首先通過sftp將下載下來的 Scala 包上傳到Master，
將Scala 壓縮包 scala-2.10.4.tgz移動到/usr/local/program/目錄下，並解壓縮。
進入 scala-2.10.4下
3.8.1配置系統環境變量
vi /etc/profile
export JAVA_HOME=/usr/local/program/jdk1.7.0_80
export JRE_HOME=/usr/local/program/jdk1.7.0_80/jre
export CLASS_PATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export HADOOP_HOME=/usr/local/program/hadoop-2.6.3
export HADOOP_CONF_DIR=/usr/local/program/hadoop-2.6.3/etc/hadoop
export SCALA_HOME=/usr/local/program/scala-2.10.4
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$PATH
保存退出後source /etc/profile 使改動生效。
3.8.2驗證是否安裝成功
3.9 Spark安裝
需要在3臺服務器上都安裝 Spark 。首先通過sftp將下載下來的 Spark 包上傳到Master，
將Spark 壓縮包 spark-1.6.0-bin-hadoop2.6.tgz移動到/usr/local/program/目錄下，並解壓縮。
進入 /usr/local/program/spark-1.6.0-bin-hadoop2.6下
3.9.1配置系統環境變量
vi /etc/profile
export JAVA_HOME=/usr/local/program/jdk1.7.0_80
export JRE_HOME=/usr/local/program/jdk1.7.0_80/jre
export CLASS_PATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export HADOOP_HOME=/usr/local/program/hadoop-2.6.3
export HADOOP_CONF_DIR=/usr/local/program/hadoop-2.6.3/etc/hadoop
export SCALA_HOME=/usr/local/program/scala-2.10.4
export SPARK_HOME=/usr/local/program/spark-1.6.0-bin-hadoop2.6
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH
保存退出後source /etc/profile 使改動生效。
3.9.2配置spark環境
cd /usr/local/program/spark-1.6.0-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
export JAVA_HOME=/usr/local/program/jdk1.7.0_80/
export SCALA_HOME=/usr/local/program/scala-2.10.4
export SPARK_MASTER_IP=192.168.50.230
export SPARK_WORKER_MEMORY=2g
export HADOOP_CONF_DIR=/usr/local/program/hadoop-2.6.3/etc/hadoop
3.9.3 配置slaves
cp slaves.template slaves
vi slaves
3.9.4 啓動spark
cd /usr/local/program/spark-1.6.0-bin-hadoop2.6/sbin/
./start-all.sh
多了worker和master進程
3.9.5 驗證安裝結果
1、http://192.168.50.230:8080/
2、用yarn模式運行自帶案例，計算pi值
cd /usr/local/program/spark-1.6.0-bin-hadoop2.6
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client --driver-memory 1G --executor-memory 1G --executor-cores 1 lib/spark-examples-1.6.0-hadoop2.6.0.jar 40
另外在yarn監控頁面上也能看到剛剛運行的進程
