[Spark]Spark與Anaconda配置(Python)

對於Python開發者來說,使用Anaconda是很爽的。linux安裝好後,如何在pyspark中也可以使用Anaconda呢?這裏筆者研讀了下pyspark的腳本,這裏給出解決方案。

安裝Anaconda後,需要配置下bash_profile文件。

export PYSPARK_PYTHON=/home/peiwen/anaconda2/bin
export IPYTHON="1"
(PS:直接在pyspark腳本前面加上export IPYTHON="1"也是很不錯的選擇)
並且將PYSPARK_PYTHON添加到PATH中去。
我的配置文件如下:



完事以後source 下。。
這個時候,再./bin/pyspark,就搞定啦


簡直是Python用戶開發Spark的利器呀。。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章