Hadoop學習第三篇之HUE部署

 

最近公司pre-prod 環境部署大數據組件，下面我將部署文檔筆記以博客的形式share給大家

四臺物理機信息配置

IP	DNS	User
localhost01	sosvsmshadoop1.ps.com	新建Linux用戶hue
localhost02	sosvsmshadoop2.ps.com	新建Linux用戶hue
localhost03	sosvsmshadoop3.ps.com	新建Linux用戶hue
localhost04	sosvsmshadoop4.ps.com	新建Linux用戶hue

 

一、安裝Hue(在root用戶下操作)：

Step 1、安裝依賴包

yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc
gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make openldap-devel
python-devel sqlite-devel gmp-devel openssl-devel mysql-server mysql mysql-devel

Step2: 安裝Hue，有兩種方式:
方式一：使用未編譯好的Hue安裝包
1. 在服務器上安裝apache maven,並配置好環境變量（略）
2. 執行下列步驟

cd /onstardata
wget http://localhost:9669/ambari/Hue/hue-release-4.5.0.tar.gz
tar -xvzf hue-release-4.5.0.tar.gz
cd /onstardata/hue-4.5.0
#//該步驟需要依賴maven工具和外網
make apps 

需要在maven的配置文件配置代理且需要配置全局的http_proxy和https_proxy編譯過程中，
如果遇到錯誤可以參考：https://www.cnblogs.com/rainydayfmb/p/7004515.html，
如果遇到backports.functools_lru_cache找不到的錯誤，用pip install ackports.functools_lru_cache安裝

方式二：使用已經編譯好的Hue安裝包

cd /onstardata
wget http://localhost:9669/ambari/Hue/hue-4.3.0.tar.zip
unzip hue-4.3.0.tar.zip
tar -xvf hue-4.3.0.tar
mkdir /opt/hue
#//注意這裏必須將hue-4.3.0放置在/opt/hue裏
cp -R /onstardata/hue-4.3.0 /opt/hue 

因爲是已經編譯好的包，裏面很多的腳本配置的路徑都是/opt/hue,如果不是在該目錄下，後面啓動hue就會報錯

這裏因爲在Server Farm的機器上連外網很麻煩，可能編譯過程中可能會出現各種各樣的問題，所以我們使用方式二來進行安裝

Step3: MySQL初始化
1. 在Mysql裏創建Hue的數據庫和登錄用戶名密碼

# mysql -uroot
> CREATE DATABASE hue;
> use hue;
> CREATE USER 'hue'@'%' IDENTIFIED BY 'hue1234';
> GRANT ALL PRIVILEGES ON *.* TO 'hue'@'%';
> CREATE USER 'hue'@'localhost' IDENTIFIED BY 'hue1234';
> GRANT ALL PRIVILEGES ON *.* TO 'hue'@'localhost';
> FLUSH PRIVILEGES;

2. 配置Hue連接Mysql的信息，編輯/opt/hue/hue-4.3.0/desktop/conf/hue.ini文件，找到
[[database]]，填寫配置信息，如下：

[[database]]
engine=mysql
host=localhost
port=3306
user=hue
password=hue1234
name=hue

3.初始化Mysql, 執行以下命令：

cd /opt/hue/hue-4.3.0/build/env
bin/hue syncdb
bin/hue migrate

上述命令執行完後就可以在數據庫裏看到hue相關的表了

三、啓動Hue(在root用戶下操作)：

# 先增加一個hue的用戶
 useradd hue
 cd /opt/hue/hue-4.3.0/build/env
 nohup bin/supervisor > hue.out &
# 重啓Hue需要先kill掉的進程再執行上面的命令

#Hue啓動成功後，可以通過http://ip:port的方式來訪問UI
http://sosvsmshadoop1.ps.com:8888/hue/

End 我會陸續更新 Hue 整合hive  Hdfs等等，敬請期待