終於要安裝心心念唸的spark了,安裝過程參考的《深入理解spark-核心思想與源碼分析》一書,但是在測試spark是否安裝成功時,老是提示這樣的錯誤:
在網上查資料,說是在spark配置過程中出現了問題。網上給出的解決方法是把/conf路徑下的spark-env.sh文件中配置的IP地址改一下,由原來的127.0.0.1改爲10.10.10.204
.但是我改了之後依然不行。
最後終於被我發現了問題所在:
添加的配置應該是
export SPARK_MASTER_IP=127.0.0.1
export SPARK_LOCAL_IP=127.0.0.1
而我的配置則是
export SPARK_MASTER_IP = 127.0.0.1
export SPARK_LOCAL_IP = 127.0.0.1
是的,問題就出在空格上,記住,這裏的空格一定不能留。保存關閉後再測試下
成功,和書中結果一致!