spark開發環境——本地安裝spark2.x及啓動

利用python開發spark項目需要在本地安裝spark

一 本地安裝

1.下載http://spark.apache.org/downloads.html

選擇適合本機的hadoop版本，點擊鏈接下載

2.點擊鏈接完成下載

3. 解壓文件

4.配置環境變量

新增SPARK_HOME=D:\spark\spark-2.2.0-bin-hadoop2.6 

在系統變量Path中追加 %SPARK_HOME%/bin;

二 在本地啓動spark

1.在cmd中輸入D:\spark\hadoop-2.6.5\bin\winutils.exe chmod 777 D:\tmp\hive（需要先新建一個文件夾D:\tmp\hive）

2.運行spark-shell。注意不要在C盤，因爲spark-shell運行會產生一些臨時文件，在D盤spark中新建一個spark-shell文件，從cmd中進入此文件夾後再運行spark-shell即可。

3.進入spark-shell後輸入spark.conf.get("spark.sql.catalogImplementation")，然後即可在交互環境下進行代碼測試。

sparkshell文件夾中會出現