Spark2.2.0集羣搭建部署之【基礎配置篇】

軟件準備信息,詳見Spark2.2.0集羣搭建部署之【軟件準備篇】

Spark集羣在生產環境中,主要部署在linux的集羣中,所以需要先安裝JDK,SCALA等基礎配置。

由於Spark是計算框架,所以需要預先在集羣內有搭建好存儲數據的持久化層,如HDFS,最後可以通過啓動腳本運行應用。

在VMware Workstation 虛擬機中新建兩臺機器,分別起名master,slave1。在兩臺機器中分別安裝JDK,SCALA。

一、安裝JDK

JDK的安裝可以下載安裝包進行安裝,這裏我以系統自帶的openjdk安裝爲例。

yum -y list java*  

 

查看JDK軟件包列表

yum  install  java-1.8.0-openjdk   java-1.8.0-openjdk-devel 

安裝java-1.8.0-openjdk

等待運行結束,可通過java -version查看JDK版本信息

值得一提的是,通過yum安裝的jdk,默認的安裝目錄爲 /usr/lib/jvm, 可cd到該目錄下,查看JDK的版本詳細信息,其中

java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64即爲安裝的JDK。

 

然後配置環境變量信息

vi /etc/profile  

在文件的末尾加上

JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
PATH=$PATH:$JAVA_HOME/bin  
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  
export JAVA_HOME  CLASSPATH  PATH  

保存文件後,刷新使配置生效

source  /etc/profile  

二、安裝SCALA

將下載的scala-2.11.11.tar.gz,放置在集羣制定目錄下,這裏我放置在 /root/xdb 目錄下

解壓文件

tar -zxvf scala-2.11.11.tar.gz

配置環境變量,命令同上,在文件末尾添加SCALA的配置信息

export SCALA_HOME=/root/xdb/scala-2.11.11/
export PATH=$PATH:$SCALA_HOME/bin

刷新配置,通過scala -version查看是否生效。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章