spark的安裝搭建

學習Spark的安裝部署，先介紹下基本情況，本地安裝VMware，安裝了5臺centos的虛擬機，只有個8個G的內存所以不會5臺全部開啓。具體使用情況是：一臺做本地(僞分佈)模式，三臺做集羣，剩下最後一臺做備用

服務器的命名：bigdata111, bigdata112, bigdata113, bigdata114, bigdata115

準備工作：JDK，ZK，Spark，免密碼登陸

僞分佈：使用bigdata111

• Spark-env.sh  Spark解壓安裝包，在bin/conf文件下，修改配置文件參數
  • export JAVA_HOME=/root/training/jdk1.8.0_144
  • export SPARK_MASTER_HOST=bigdata111
  • export SPARK_MASTER_PORT=7077
• Slaves 僞分佈是一臺機器，所以配置從節點只有自己
  • bigdata111
• 啓動：sbin/start-all.sh  
  • http://ip:8080 通過Spark內置Tomcat容器訪問

全分佈：三臺，使用bigdata112 bigdata113 bigdata114

• Master節點：bigdata112
• Worker從節點：bigdata113 bigdata114
• 和僞分佈一樣，配置spark-env.sh
  • export JAVA_HOME=/root/training/jdk1.8.0_144
  • export SPARK_MASTER_HOST=bigdata112
  • export SPARK_MASTER_PORT=7077
• Slaves 從節點是不同的，因爲有113 114兩臺服務器
  • bigdata113 bigdata114
• 啓動在主節點bigdata111上：sbin/start-all.sh

Spark的全分佈方式，會同樣遇到HA的問題，那麼是如何解決的呢？可以通過ZooKeeper來做管理。

• Spark中的配置ZK也是比較簡單，修改：spark-env.sh
  • export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=bigdata112:2181,bigdata113:2181,bigdata114:2181 -Dspark.deploy.zookeeper.dir=/spark"
  • 啓動另一天服務器的一個單點master：sbin/start-master.sh