在虛擬機CentOS7中安裝Oozie（安裝前提環境搭建：jdk+hadoop+pig）

安裝環境搭建：

• 安裝虛擬機VMware-workstation-full-12.5.7.20721.exe，以管理員身份運行，自行定義安裝位置，安裝過程參考軟件安裝管家公衆號
• CentOS的安裝：https://jingyan.baidu.com/album/0eb457e5d7b28403f0a90577.html?picindex=3，，安裝過程中將虛擬磁盤拆分成多個文件（M），根據需要進行軟件選擇，自定義安裝位置，開始安裝時配置root用戶密碼，用戶名和用戶權限。出現如下報錯：

        解決方法：https://blog.csdn.net/qq_33468857/article/details/90346550

JDK的安裝 ：https://blog.csdn.net/dhr201499/article/details/81626466

• 手動下載jdk1.8安裝包，並解壓到/usr/local/
•  配置環境變量vim /etc/profile，在文件末尾添加如下環境變量並生效，即可安裝成功：

Hadoop的安裝和啓動： https://www.jianshu.com/p/e925137b2aa2，hadoop未啓動起來，一個一個啓動能方便發現問題

• 查看ip地址：ifconfig
• 修改hostname：vim /etc/hostname
• 注意需要把所有的hadoopserver改成自己的名字 
• 關閉防火牆：systemctl stop firewall；systemctl disable firewalld
• 啓動./sbin/yarn-daemon.sh start resourcemanager；./sbin/hadoop-daemon.sh start datanode；./sbin/hadoop-daemon.sh start namenode
• tail -100f logs；tail -100f logs/yarn-root-resourcemanager-bigdata.cmcc.com.out
• 成功後有四個文件可以啓動起來，也可以登錄進去網頁http://192.168.42.161:8088/cluster
• 總結hadoop的啓動：

[hadoop@bigdata ~]$ su root
[root@bigdata hadoop]# ssh localhost
[root@bigdata ~]#ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
[root@bigdata ~]#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[root@bigdata ~]#chmod 0600 ~/.ssh/authorized_keys
[root@bigdata ~]#ssh localhost
[root@bigdata ~]#hdfs namenode -format
[root@bigdata ~]#start-dfs.sh
[root@bigdata ~]#jps
[root@bigdata ~]#start-yarn.sh
[root@bigdata ~]#jps

 PIG的安裝：https://blog.csdn.net/weixin_34074740/article/details/91505214

 Maven的安裝：https://blog.csdn.net/qq_28410283/article/details/81837151

Oozie的安裝： 

• 修改maven的倉庫設置cd /usr/local/maven中conf下的settings.xml文件（必須要這步操作，否則Oozie編譯報錯）
• 手動下載並解壓Oozie至/usr/local/oozie5.1.0，修改環境變量vim /etc/profile，修改oozie.pom文件中對應的hadoop版本號，執行source /etc/proflie

• 官方提供的只是源碼，需要自己去編譯生成打包的文件，編譯過程如下，在bin目錄下執行mkdistro.sh -DskipTests -Puber進行編譯，在distro/target目錄下面會得到一個編譯好的名Oozie-5.1.0-distro.tar.gz包，此時將之前下載的源碼包刪除或者修改名字。

• 編譯出錯，經解決多次，嘗試各種方法沒能解決，因此後續選擇使用編譯好的Oozie進行安裝，參照網址https://www.cnblogs.com/30go/p/8335523.html中的2.2ooize的安裝和https://blog.csdn.net/mapengbo521521/article/details/43983487中的部分三安裝和https://yq.aliyun.com/articles/369823，需要補充的是：

1. 添加環境變量；
2. 修改conf中oozie-site.xml文件，修改版本名稱，hadoop對應的目錄，沒有spark，需將其刪掉
3. 在oozie下創建libext文件夾，將hadoop中的包和ext-2.2.zip（oozie客戶端插件）複製到libext中，在hadoop配置文件hdfs-site.xml追加oozie代理用戶

 Oozie的部署：

• mysql的安裝和配置，授權於oozie，並創建oozie數據庫，創建成功的話，會生成一個oozie.sql文件，並將mysql的jar包放到oozie的lib目錄下；

• oozie環境變量的配置；
• 啓動Oozie，注意啓動之前先啓動hadoop
• 上傳Ooize目錄下的yarn.Tar.gz文件到HDFS ，只上傳一次bin/oozie-setup.sh sharelib create -fs hdfs://localhost:8088 -locallib oozie-sharelib-oozie版本號-yarn.tar.gz

•  創建oozie.sql文件並打包項目生成war包，bin/ooziedb.sh create -sqfile oozie -sqlfile oozie.sql -run  bin/oozie-setup.sh prepare-war

• 成功啓動後會出現BootStrap進程，在瀏覽器中可以查看Oozie，端口號是：11000

• Oozie驗證啓動成功狀態，執行oozie admin -oozie http://192.168.7.88:11000/oozie -status

 Oozie遇到的問題

• Q:安裝完成後進不去用戶登錄界面，顯示如下：

        A: 輸入【1】，按Enter鍵閱讀許可協議，

            輸入【2】，按Enter鍵接受許可協議，

            輸入【q】，按Enter鍵退出，

            輸入【yes】，按Enter鍵確定，

            重啓之後即可進入圖形登錄界即可

• Q:用命令直接安裝jdk，無法找到幾個安裝包

        A: 下載壓縮包，進行手動安裝

• Q:安裝jdk，解壓報錯

        A: su root進入進行解壓

• Q: hadoop安裝報錯，Error: JAVA_HOME is not set and could not be found

        A: 添加JavaHome 路徑export JAVA_HOME=/usr/java/jdk1.6.0_45

• Q: hadoop安裝成功後啓動報錯

        A: 關閉防火牆systemctl stop firewall，再次啓動hadoop

• Q: hadoop不能將全部文件啓動起來

        A: 關閉hadoop，並進行單獨啓動

             ./sbin/yarn-daemon.sh start resourcemanager；

             ./sbin/hadoop-daemon.sh start datanode；

             ./sbin/hadoop-daemon.sh start namenode

• Q: 運行mvn -version正確，但mvn報錯，依賴包下不下來

        A: 修改maven的倉庫設置cd /usr/local/maven中conf下的settings.xml文件​​，操作如下：

• Q: oozie中oozie-site.xml文件配置問題

        A：添加部分代理，將對應版本及端口號都對應上​​​​​​​

• Q: 缺少部分jar包

        A：手動下載jar包，注意：添加jar包後需要打成war包，否則啓動oozie會報錯​​​​​​​

• Q: Oozie啓動不起來

        A：啓動oozie前需要將hadoop啓動起來，並且需要啓動JobHistorySever進程，在bin目錄下執行Mr-jobhistory- daemon.sh start historysever​​​​​​​