基於Hadoop集羣的Spark集羣搭建
一. 單機版Spark搭建
(1)將下載下來的軟件包拉至集羣中(主節點上)
(2)解壓至指定目錄
(3)將解壓下的文件移至某個特定目錄下並查看
(4)修改環境變量
(5)使環境變量生效並進入scala命令行測試；
(6）解壓scala壓縮包並放置指定目錄；
(7)添加環境變量
(8)生效環境變量並測試spark(source .bash_profile)
(9)單機版網頁spark測試(主機地址爲你當前虛擬機地址，在啓動spark的時候你可以看到)
二. 集羣版Spark搭建
(1)修改spark配置文件(注意目錄)
(2)修改配置文件(加入你集羣的主機名)
(3)生成配置文件並修改配置文件(jdk爲你本機安裝位置)
(4)向集羣中其他主機發送
(5)啓動Hadoop集羣(start-all.sh),啓動spark集羣(在spark目錄下的sbin目錄下啓動)(主節點啓動有Master，從節點爲Worker)
(6)查看端口
三. 訪問方式
(1)添加本地映射端口localhost+8080的方式訪問
(2)通過主節點IP地址+端口號進入Web端頁面查看
至此，Spark集羣搭建完畢。
四. 運行wordcounut程序
(1)在Hadoop集羣中放置所需要的.txt文件
(2)執行命令spark-shell進入命令端後執行命令如下
至此，wordcount程序執行成功。