hadoop2.4.0集羣安裝spark1.3.0

一、spark1.3.0編譯方法可參考:Linux64位操作系統(CentOS6.6)上如何編譯spark1.3

二、安裝軟件

1.在官網下載scala2.10.5,解壓設置好環境變量就可以用。

 環境變量設置如下:

export SCALA_HOME=/usr/local/scala  
export PATH=$SCALA_HOME/bin:$PATH

2.將編譯好的spark解壓修改配置環境變量

export SPARK_HOME=/usr/local/spark-1.3.0-bin-hadoop2.4  
export PATH=$SPARK_HOME/bin:$PATH

 三、修改配置文件

1.修改conf目錄下的spark-env.sh,添加環境變量

export JAVA_HOME=/home/spark/jdk1.7  
export HADOOP_CONF_DIR=/home/hadoop/hadoop2.4.0/etc/hadoop  
  
export SPARK_HOME=/home/hadoop/spark-1.3.0-bin-2.4.0  
export SPARK_JAR=$SPARK_HOME/lib/spark-assembly-1.3.0-hadoop2.4.0.jar  
export PATH=$SPARK_HOME/bin:$PATH  
export SPARK_MASTER_IP=test1  
export SPARK_WORKER_CORES=1  
export SPARK_WORKER_INSTANCES=1  
export SPARK_MASTER_PORT=7077  
export SPARK_WORKER_MEMORY=1g  
export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}

2.修改conf目錄下的slaves

test1  
test2

3.將配置好的spark安裝目錄 scp 到另一臺機器 test2的 /home/hadoop/目錄下

4.在spark master的spark安裝目錄下執行  ./sbin/start-all.sh  

5.訪問http://test1的ip:8080 查看Spark是否啓動成功。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章