Spark2.0.2集羣部署

版權聲明：本文爲博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/oMaverick1/article/details/53744996

文描述了Spark2.0.2集羣部署過程，包括3個節點集羣搭建過程，scala的安裝，中途遇到問題的解決等等

1.準備

• *三臺物理機：
  序號 主機名稱 IP地址 操作系統
  1 c1 192.168.xxx.157 centos7
  2 c2 192.168.xxx.158 centos7
  3 c3 192.168.xxx.159 centos7

• 關閉防火牆

[root@c3 ~]# service iptables stop

• 查看磁盤情況

[root@c3 ~]# df –lh

爲了避免磁盤使用不均而導致系統問題，因而先查看磁盤的分佈情況。
/dev目錄共83G，只使用了8%不到，因此可以將後續的所有文件和程序存放在此目錄下。當然，這要根據你的實際情況而定。

• 安裝包

http://www.scala-lang.org/download/ 部署使用：scala-2.11.8.tgz
http://spark.apache.org/downloads.html 部署使用：spark-2.0.2-bin-hadoop2.7.tgz
JDK:1.8+

• 查看配置hosts

[root@c3 bin]# more /etc/hosts

• 配置ssh無密碼登錄
  詳細參考http://haitao.iteye.com/blog/1744272

2. 安裝scala

2.1 創建安裝目錄

 [root@c1 local]# mkdir /usr/local/spark

2.2 上傳與解壓

2.3 配置環境變量

[root@c1 spark]# vim /etc/profile  

[root@c1 spark]# source /etc/profile

2.4 測試scala

[root@c1 spark]# scala

3.安裝spark

3.1 上傳安裝文件

先將spark文件複製到/usr/local/spark文件夾下

3.2 解壓

[root@c1 spark]# tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz

3.3 配置環境變量

[root@c1 spark]# vim /etc/profile  

[root@c1 spark]# source /etc/profile

3.4 配置修改

進入目錄

[root@c1 conf]# cp spark-env.sh.template spark-env.sh  
[root@c1 conf]# vim spark-env.sh

[root@c1 conf]# cp slaves.template slaves   
[root@c1 conf]# vim slaves   

4.其他節點

4.1 拷貝安裝目錄

複製安裝文件值c2

[root@c1 conf]# scp -r /usr/local/spark/ root@c2:/usr/local/

複製安裝文件值c3

[root@c1 conf]# scp -r /usr/local/spark/ root@c3:/usr/local/

4.1.拷貝環境變量

[root@c1 conf]# scp -r /etc/profile root@c2:/etc 

[root@c1 conf]# scp -r /etc/profile root@c3:/etc   

4.2 登錄c2,c3節點

分別登錄c2,c3執行

[root@c2 spark]# source /etc/profile
[root@c3 spark]# source /etc/profile

測試scala

4.3 修改權限

在三個節點中修改文件的權限,命令如下：

[root@c2 zookeeper]# chmod -R 777 /usr/local/spark/

5.啓動spark

登錄c1,c2,c3依次啓動

[root@c1 sbin]# ./start-all.sh

[root@c2 sbin]# ./start-all.sh

[root@c3 sbin]# ./start-all.sh

查看啓動情況

5.web訪問spark

瀏覽器打開地址：http://192.168.121.157:8080/

5.shell界面

[root@c2 bin]# ./spark-shell