軟件準備信息,詳見Spark2.2.0集羣搭建部署之【軟件準備篇】
Spark集羣在生產環境中,主要部署在linux的集羣中,所以需要先安裝JDK,SCALA等基礎配置。
由於Spark是計算框架,所以需要預先在集羣內有搭建好存儲數據的持久化層,如HDFS,最後可以通過啓動腳本運行應用。
在VMware Workstation 虛擬機中新建兩臺機器,分別起名master,slave1。在兩臺機器中分別安裝JDK,SCALA。
一、安裝JDK
JDK的安裝可以下載安裝包進行安裝,這裏我以系統自帶的openjdk安裝爲例。
yum -y list java*
查看JDK軟件包列表
yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel
安裝java-1.8.0-openjdk
等待運行結束,可通過java -version查看JDK版本信息
值得一提的是,通過yum安裝的jdk,默認的安裝目錄爲 /usr/lib/jvm, 可cd到該目錄下,查看JDK的版本詳細信息,其中
java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64即爲安裝的JDK。
然後配置環境變量信息
vi /etc/profile
在文件的末尾加上
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME CLASSPATH PATH
保存文件後,刷新使配置生效
source /etc/profile
二、安裝SCALA
將下載的scala-2.11.11.tar.gz,放置在集羣制定目錄下,這裏我放置在 /root/xdb 目錄下
解壓文件
tar -zxvf scala-2.11.11.tar.gz
配置環境變量,命令同上,在文件末尾添加SCALA的配置信息
export SCALA_HOME=/root/xdb/scala-2.11.11/
export PATH=$PATH:$SCALA_HOME/bin
刷新配置,通過scala -version查看是否生效。