Oozie環境的搭建

最近學習到一些大數據協同框架,其中遇到了一個工作流協同框架oozie,在安裝oozie之前必須先安裝好hadoop,Oozie環境搭建稍微比較麻煩一點,記錄一下;


首先準備資源:

CDH版本的oozie:                  oozie-4.0.0-cdh5.3.6.tar.gz

        ExtJS的壓縮包:                   ext-2.2.zip 

        CDH版本的Hadoop:            hadoop-2.5.0-cdh5.3.6.tar.gz


現在開始安裝:

(1).配置Hadoop的 core-site.xml 文件,具體配置內容如下:

      

	<property>
    		<name>hadoop.proxyuser.[OOZIE_SERVER_USER].hosts</name>
    		<value>[OOZIE_SERVER_HOSTNAME]</value>
  	</property>
  	<property>
    		<name>hadoop.proxyuser.[OOZIE_SERVER_USER].groups</name>
    		<value>[USER_GROUPS_THAT_ALLOW_IMPERSONATION]</value>
  	</property>
	註釋:[OOZIE_SERVER_USER]填寫訪問Tomcat的用戶名
	    [OOZIE_SERVER_HOSTNAME]填寫安裝Tomcat服務器的機器的主機名
	    [USER_GROUP_THAT_ALLOW_TMPERSONATION]一般填寫*標識符,表示所用用戶都可以訪問
	
	(2).減壓 oozie-4.0.0-cdh5.3.6.tar.gz
	    tar -zxvf oozie-4.0.0-cdh5.3.6.tar.gz .

	(3).減壓 oozie-4.0.0-cdh5.3.6 下的 oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz
	    tar -zxvf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz

	(4).在(2)步驟減壓後的目錄下創建 libext 目錄
	    mkdir libext/

	(5). cp /opt/chd5.3.6/oozie-4.0.0-cdh5.3.6/oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/*   
	       /opt/chd5.3.6/oozie-4.0.0-cdh5.3.6/libext

	(6).cp /home/shiluo/Desktop/ext-2.2.zip   /opt/chd5.3.6/oozie-4.0.0-cdh5.3.6/libext

	(7).執行 bin/oozie-start.sh prepare-war 命令生成war包並放入Tomcat的 webapp 下,如果成功出現已生成oozie.war包
	    的提示

	(8).然後啓動 Hadoop 的兩個後臺進程,分別是 Namenode Datanode
	    sbin/hadoop-daemon.sh start namenode
	    sbin/hadoop-daemon.sh start datanode

	(9).接着運行如下命令,完成共享包的創建:
	    bin/oozie-setup.sh sharelib create -fs hdfs://hadoop02.shiluo.com:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

	(10).然後執行數據庫的創建命令,如下:
	     bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection

	(11).最後執行Tomcat啓動命令,如下
	     bin/oozied.sh start

	(12).在瀏覽器中輸入hadoop02.shiluo.com:11000出現如下截圖,則證明 oozie 成功

	注意:所有配置項配置完畢並啓動服務以後,訪問前端控制檯,如果不能成功訪問,則需要修改oozie-site.xml文件
	      的 hadoop 配置文件位置,如下截圖所示,配置完成以後重新啓動Tomcat即可訪問。

	      



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章