ambari2.6安裝alluxio2.1.0
準備的文件:
alluxio-2.1.0-bin.tar.gz (自己去下載)
ranger-hive-plugin-0.7.0.2.6.5.0-292.jar (如果沒有ranger控制權限,涉及的下面相關操作可忽略)
ambari-alluxio-service-master.zip (本人二次開發的ambari插件,實現ambari控制管理alluxio)
鏈接:https://pan.baidu.com/s/1f_C6E1_ZsqOyonPoUuroVA
提取碼:pbk1
step1. Linux環境配置
在 ambari server節點上執行:
cd /var/lib/ambari-server/resources/stacks/HDP/2.6/services
mkdir ALLUXIO
unzip ambari-alluxio-service-master.zip -d ALLUXIO/
mv alluxio-2.1.0-bin.tar.gz ALLUXIOF/package/files/
由於線上hive通過ranger控制權限,alluxio對ranger管理的hive表會有權限問題,目前只能經過本人修改源碼繞過alluxio對ranger的權限管理,已提供重新編譯打的jar包:ranger-hive-plugin-0.7.0.2.6.5.0-292.jar
在hiveserver2節點上執行:
#均強制覆蓋
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/hive/lib/ranger-hive-plugin-impl/
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/hive2/lib/ranger-hive-plugin-impl/
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/ranger-hive-plugin/lib/ranger-hive-plugin-impl/
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/ranger-admin/ews/webapp/WEB-INF/classes/ranger-plugins/hive/
由於alluxio自身是root用戶啓動,無法修改,訪問hdfs會有權限問題,需要把root用戶加入hdfs組,每臺機都需執行:
usermod -a -G hdfs root
新建hdfs上的alluxio的home目錄,設置權限
hadoop fs -mkdir /user/alluxio
hadoop fs -chown root:hdfs /user/alluxio
hadoop fs -chmod 755 -R /user/alluxio
由於新安裝需要重啓ambari-server,此操作對線上無影響
sudo ambari-server restart
step2. ambari配置
通過最近機器負載觀察,確定把master節點選擇cxy-hdp-node-60 這臺機
線上機器由於cxy-hdp-node-171、cxy-hdp-node-172這兩臺機負載過大,worker節點選擇除這兩臺機機以外的所有Datanode節點
一路next直到這裏去掉鉤鉤
一路next直到安裝成功,直到一片綠
重啓hiveserver2