對於Python開發者來說,使用Anaconda是很爽的。linux安裝好後,如何在pyspark中也可以使用Anaconda呢?這裏筆者研讀了下pyspark的腳本,這裏給出解決方案。
安裝Anaconda後,需要配置下bash_profile文件。
export PYSPARK_PYTHON=/home/peiwen/anaconda2/bin
export IPYTHON="1"
對於Python開發者來說,使用Anaconda是很爽的。linux安裝好後,如何在pyspark中也可以使用Anaconda呢?這裏筆者研讀了下pyspark的腳本,這裏給出解決方案。
安裝Anaconda後,需要配置下bash_profile文件。
export PYSPARK_PYTHON=/home/peiwen/anaconda2/bin
export IPYTHON="1"