Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安裝過程-SparkR安裝配置和Zeppelin安裝配置

在前面3篇文章中，完成了基礎環境的安裝以及Hadoop的安裝配置基礎以及scala、spark的安裝配置。本文將介紹SparkR和Zeppelin的安裝配置。

3.10 R安裝

安裝R的原因是Spark安裝後直接啓動SparkR會報錯，且在zeppelin中支持sparkR接口，爲了在zeppelin中使用R，故提前安裝。

需要在3臺服務器上都安裝 R。首先通過sftp將下載下來的 R源碼 包上傳到Master，

將R壓縮包 R-3.2.1.tar.gz 移動到/usr/local/program/目錄下，並解壓縮。

3.10.1安裝依賴

yuminstall gcc

yuminstall gcc-c++

yuminstall gcc-gfortran

yuminstall pcre-devel

yuminstall tcl-devel

yuminstall zlib-devel

yuminstall bzip2-devel

yuminstall libX11-devel

yuminstall readline-devel    #否則報”–with-readline=yes (default) and headers/libs are not available”錯誤

yuminstall libXt-devel          #否則報”configure: error: –with-x=yes (default) and X11 headers/libs are not available”錯誤

yuminstall tk-devel

yuminstalltetex-latex

yum -y install libcurl libcurl-devel

3.10.2 編譯

進入/usr/local/program/R-3.2.1/ 目錄下，執行

./configure

make && make install

進行編譯

3.10.3 安裝rJava

安裝R成功後輸入      R 進入r界面執行

install.packages("rJava")

3.10.4 啓動sparkR

cd /usr/local/program/spark-1.6.0-bin-hadoop2.6/bin

執行啓動sparkR

./sparkR

見到如下界面即安裝成功。 

另外想要在zeppelin中執行R，還需要在sparkr shell中執行

install.packages('knitr', dependencies = TRUE)

3.11 PostgreSQL【此部分由其它同事負責，寫的可能不夠詳細】

 在3臺機器上任意一臺安裝即可，下載PostgreSQL源碼，然後解壓縮，進入configure，執行make && make install 完成。

3.12 zeppelin

zeppelin因本身是個比較新的軟件，官方文檔不嚴謹及應用範圍不是很廣，直接導致了安裝過程中踩過很多坑，

因對zeppelin的源碼包編譯時各種報錯，改成了二進制包安裝。 在3臺機器上任意一臺安裝即可

3.12.1 首先在官網上下載了zeppelin0.6.2版本的二進制包，通過sftp上傳到slave02上並在/usr/local/program/下解壓縮，

 cd /usr/local/program/zeppelin-0.6.2-bin-all/conf 

cp zeppelin-env.sh.template zeppelin-env.sh

cp  zeppelin-site.xml.template  zeppelin-site.xml

vi  zeppelin-env.sh

export JAVA_HOME=/usr/local/program/jdk1.7.0_80/

export SPARK_HOME=/usr/local/program/spark-1.6.0-bin-hadoop2.6

export HADOOP_CONF_DIR=/usr/local/program/hadoop-2.6.3/etc/hadoop

export HADOOP_HOME=/usr/local/program/hadoop-2.6.3

export MASTER=yarn-client

export ZEPPELIN_JAVA_OPTS="-Dmaster=yarn-client -Dspark.yarn.jar=/usr/local/program/zeppelin-0.6.2-bin-all/interpreter/spark/zeppelin-spark_2.11-0.6.2.jar"

export ZEPPELIN_LOG_DIR=/var/log/zeppelin

export ZEPPELIN_PID_DIR=/var/run/zeppelin

export ZEPPELIN_WAR_TEMPDIR=/var/tmp/zeppelin

創建對應目錄

mkdir /var/log/zeppelin

mkdir /var/run/zeppelin

mkdir /var/tmp/zeppelin

vi  zeppelin-site.xml 並修改zeppelin.server.addr及端口號

<property>

  <name>zeppelin.server.addr</name>

  <value>192.168.50.229</value>

  <description>Server address</description>

</property>

<property>

  <name>zeppelin.server.port</name>

  <value>9090</value>

  <description>Server port.</description>

</property>

3.12.1 啓動zeppelin及配置

cd /usr/local/program/zeppelin-0.6.2-bin-all/bin/

./zeppelin-daemon.sh start

打開頁面驗證是否成功

http://192.168.50.229:9090/#/

並配置接口相關參數，配置完成後通過右上角restart 按鈕生效。

3.12.2測試zeppelin使用

1、postgresql

2、R

3、scala

總結文檔寫的比較倉促，如果有問題還可以留言討論。

參考：

http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503864.html

http://blog.sina.com.cn/s/blog_4077692e0100qjkp.html

http://blog.csdn.net/yizheyouye/article/details/50492989

http://blog.csdn.net/xubo245/article/details/51195287

http://www.aboutyun.com/thread-14545-1-1.html

http://www.bihell.com/2016/08/31/Zeppelin-Setup/