在Linux Centos7 上使用pyspark Notebook

首先安裝anaconda 參考:

https://blog.csdn.net/levy_cui/article/details/80898739

https://blog.csdn.net/levy_cui/article/details/51143153

anaconda安裝時已經有了jupyter notebook，所以只需要配置好就可以！

一、添加root啓動權限

如果輸入  jupyter notebook --generate-config提示：
Running as root is not recommended. Use –allow-root to bypass.
則在後邊加上 --allow-root
jupyter notebook --generate-config --allow-root

二、修改配置文件

vim /root/.jupyter/jupyter_notebook_config.py
將c.NotebookApp.allow_root = False前邊的  '#'去掉，在把False修改爲True

三、生成登錄密碼

因爲採用的服務器環境所有建議生成一個密碼

輸入命令ipython
from notebook.auth import passwd
passwd()
Enter password:  輸入一次密碼
Verify password:  再次輸入密碼
sha1：ae9e423f48ae:a8................................

四、再次修改配置文件

vi /root/.jupyter/jupyter_notebook_config.py
c.NotebookApp.ip='*'
c.NotebookApp.password = u'sha1:ae9e423f48ae:a8................................'
c.NotebookApp.open_browser = False
c.NotebookApp.port =8888    #任意空閒端口，使用默認8888也可以

五、啓動

 jupyter notebook  --ip=0.0.0.0 --no-browser --allow-root
 如果打開輸入地址無法訪問則需要關閉一下防火牆
 systemctl stop firewalld.service  #關閉firewall
 systemctl disable firewalld.service #禁止firewall開機啓動
 firewall-cmd --state #查看默認防火牆狀態（關閉後顯示notrunning，開啓後顯示running）

在阿里安全組規則裏開放你的開放端口比如這裏的8888

最後再次啓動命令行出現：

瀏覽器輸入http://IP地址:8888 出現notebook界面這樣就成功了

 

六、在notebook上使用pyspark，輸入命令：

PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" MASTER=local[*] pyspark