之前在windows下搭建了一個spark的開發環境，但是後來發現如果想要搞spark streaming的例子的話在Linux下使用更方便，於是在centos7下面搭建一下spark開發環境，記錄以做備忘之用。
1 .首先去spark官網下載相關軟件，我這裏用的是spark2.1.0版本http://spark.apache.org/downloads.html，對應的hadoop版本是2.7.0
2 .
3 .之後利用XSheel5將下載的壓縮包傳遞到linux的主節點的opt目錄下，這裏我的主節點的ip爲192.168.70.100
4 .之後切換到opt目錄下，用tar -zxvf命令進行解壓縮，解壓縮後得到去掉後綴的文件夾
5 .之後進入 vim /etc/profile,修改配置文件，添加spark的相關內容，見下圖，之後退出用source /etc/profile進行保存
6 .接下來修改之前解壓縮目錄下的conf下的spark-env.sh文件，通過cp命令複製一下模板
7 .之後通過vim 進入，在末尾添加這些東西見下圖，最後一個是主節點的ip地址，根據實際情況改成自己的
8 .在這之前先在任何一個位置輸入spark-shell，測試一下環境變量是否配置成功，如果出現下面這個圖表明成功
9 .接下來修改spark下的conf下面的slaves文件，添加子節點的ip地址，如果這裏沒有這個文件，可以通過cp 命令進行復制slaves模板得到，我這裏有三個子節點，根據自己的實際情況進行修改即可
10 .將上面這個保存，到此主節點的spark的相關配置已經完成，接下來只需要將該配置分發到其他子節點即可，之前已經配置了免密登錄，如果這裏有問題，可以參考我之前寫的免密登錄的相關內容，我這裏有三個子節點，全部拷貝到相同目錄下即可
11 .之後先啓動hadoop，分別調用start-dfs.sh和start-yarn.sh,之後進入spark的sbin目錄啓動start-master.sh和start-slaves.sh，啓動完畢後在主節點和子節點分別調用jps查看進程如下圖
12 .之後登錄8080查看spark的管理界面，出現下圖說明集羣搭建成功暫時告一段落，這裏根據自己的主節點的ip地址進行修改即可。
13 .接下里就可以進行實操了，如果搭建過程有什麼問題可以聯繫我。。。。